Игры искусственного разума: безопасность систем машинного обучения

Одновременно, как и любой другой технологии использованию искусственного интеллекта сопутствует широкий спектр неизвестных ранее угроз, которые простираются от социальных и этических проблем, связанных с ограничением гражданских свобод и плюрализма мнений при автоматизации принятия решений, а также ответственностью за их последствия, до безопасности технической реализации решений, использующих искусственный интеллект, и касающихся, например, обеспечения доверия к процессу принятия решения или безопасности обрабатываемых данных.

Безопасность системы ИИ и как ее обеспечить

Отмеченный выше принцип предварительного обучения при обработке данных методами искусственного интеллекта приводит к тому, что конечное решение зависит не только от алгоритма принятия решения, но и от обработанных ранее и обрабатываемых в данный момент данных. В результате возникают два совершенно новых типа атак на системы рассматриваемого типа в дополнение к классическим, характерным для любой информационной системы:

• манипуляция входными данными при обучении с целью изменения последующего процесса принятия решения, или так называемое отравление данных (data poisoning) – рис. 1;
• подбор входных данных на этапе принятия решения, приводящий к их неверной классификации, или так называемое уклонение от данных (data evasion) – рис. 2

Данные атаки применимы не только к нейронным сетям, но и к методам машинного обучения, использующим, например, аппарат математической статистики. Это является следствием того, что все подобные методы фактически аппроксимируют параметры обрабатываемых данных некоторыми функциональными соотношениями. Собственно, точность подобной аппроксимации и определяет возможность реализации указанных типов атак.

 

Следует отметить, что какой-либо единой методологии защиты систем рассматриваемого типа в настоящее время нет. Вместе с тем исследователи выделяют ряд подходов, которые в настоящее время активно изучаются.

 

Обучение с защитой от атак на процесс принятия решений. В этом случае обучающие данные формируются таким образом, чтобы исключить возможность применения конкретных атак (фактически происходит обучение распознаванию атакующих данных) или попытаться ослабить влияние определенных классов атак.

 

Идея защиты в процессе обучения основана на ограничении множества входных данных. Поскольку, как уже было сказано, параметры данных могут иметь сложный функциональный вид, а решающее правило фактически аппроксимирует их функционалом более простого вида, то, например, запрет на использование данных, которые в каком- то смысле далеки от среднего значения обучающей выборки, позволяет уменьшить влияние атак на этапе обучения.

 

В заключение отметим аспект обеспечения конфиденциальности данных, и прежде всего персональных данных пользователей. Обработка больших объемов данных в системах машинного обучения безусловно ставит под угрозу в первую очередь данные пользователей. К настоящему моменту уже делаются попытки совместить системы данного класса с такими активно развивающимися перспективными направлениями в криптографии, как гомоморфное шифрование и протоколы конфиденциального вычисления. Однако до реального внедрения подобных систем пока еще далеко.