Григорий Маршалко, 27/12/18
По данным PricewaterhouseCoopers, 74% российских компаний планируют инвестировать в искусственный интеллект в ближайшие три года. Действительно, в настоящее время данная технология рассматривается в мире как способ качественного изменения процессов управления и обработки данных в организациях.
Зародившееся в середине XX в. направление искусственного интеллекта объединяет широкий спектр научных областей, таких как представление знаний, обработка естественных языков, машинное обучение и др.
Наибольшее внимание со стороны разработчиков в настоящее время привлекают именно системы машинного обучения. В отличие от классических алгоритмических методов машинное обучение основывается не на решении конкретной задачи, а на обучении при решении сходных задач и уже последующем решении требуемой задачи. Спектр используемых методов при этом чрезвычайно широк: методы оптимизации, математической статистики и теории вероятностей, теории графов, искусственных нейронных сетей.
Сейчас на первый план выходят именно нейронные сети. Несмотря на то что, как и искусственный интеллект в целом, нейронные сети развиваются с середины прошлого века, только в последние годы они стали действительно активно использоваться. Это связано, с одной стороны, с наличием доступных для обработки и обучения нейронных сетей больших объемов данных, а с другой – с появлением достаточных вычислительных мощностей, которые позволяют такие объемы данных обрабатывать, прежде всего с использованием графических ускорителей и нейроморфных процессоров типа IBM TrueNorth.
Как и при использовании любой другой технологии, относящейся к сфере обработки информации, перед специалистом в области информационной безопасности встает вопрос о возможных угрозах и мерах по противодействию таким угрозам при использовании систем искусственного интеллекта.
В информационной безопасности использование искусственного интеллекта обычно принято рассматривать в контексте противодействия существующим кибератакам, таким, например, как фишинг, DDoS- атаки и др., или как средство, которое может обеспечить качественно новый уровень реализации таких атак при использовании злоумышленниками.
Одновременно, как и любой другой технологии использованию искусственного интеллекта сопутствует широкий спектр неизвестных ранее угроз, которые простираются от социальных и этических проблем, связанных с ограничением гражданских свобод и плюрализма мнений при автоматизации принятия решений, а также ответственностью за их последствия, до безопасности технической реализации решений, использующих искусственный интеллект, и касающихся, например, обеспечения доверия к процессу принятия решения или безопасности обрабатываемых данных.
Безопасность системы ИИ и как ее обеспечить
Отмеченный выше принцип предварительного обучения при обработке данных методами искусственного интеллекта приводит к тому, что конечное решение зависит не только от алгоритма принятия решения, но и от обработанных ранее и обрабатываемых в данный момент данных. В результате возникают два совершенно новых типа атак на системы рассматриваемого типа в дополнение к классическим, характерным для любой информационной системы:
- манипуляция входными данными при обучении с целью изменения последующего процесса принятия решения, или так называемое отравление данных (data poisoning) – рис. 1;
- подбор входных данных на этапе принятия решения, приводящий к их неверной классификации, или так называемое уклонение от данных (data evasion) – рис. 2
