Юрий Иванов, 10/04/24
Юрий Иванов, технический директор ООО “АВ Софт”, руководитель направления машинного обучения, к.т.н., поделился своим опытом реального применения элементов ИИ в продуктах для информационной безопасности.
– Чем вас привлекла область информационной безопасности и машинного обучения?
– После окончания вуза я решил связать свою жизнь с наукой и поступил в аспирантуру. Успешно защитил кандидатскую диссертацию и на данный момент уже более 15 лет занимаюсь применением искусственного интеллекта в системах безопасности. Кибербезопасность стала неотъемлемой частью нашей повседневной жизни, и я видел в ней огромное поле для развития и применения моих навыков.
С 2021 г. руковожу направлением машинного обучения в "АВ Софт". С командой решаем весьма специфические задачи:
- обнаружение фишинга, спама, вредоносного ПО;
- анализ поведения и выявление аномалий;
- обеспечение безопасности моделей машинного обучения;
- системы распознавания и синтеза речи;
- системы генерации контента и др.
Меня вдохновляет возможность применять инновационные подходы и технологии для решения сложных проблем в области кибербезопасности и мотивирует на постоянное обучение и развитие.
– Какие инструменты и методы машинного обучения вы применяете в своей работе для ИБ?
– Мы с командой стараемся использовать как SOTA-решения (State Of The Art, новые, передовые), так и проверенные и зарекомендовавшие себя алгоритмы.
Например, в системе защиты от целенаправленных атак AVSOFT ATHENA для обнаружения и классификации вредоносных файлов мы используем как классические алгоритмы, построенные на признаках, так и более продвинутые техники с использованием компьютерного зрения на базе сверточных сетей (CNN) и трансформеров (Transformers) для анализа структуры файла.
Для анализа аномального поведения сетевых узлов и пользователей мы используем методы кластеризации и ассоциативные правила. Мы также активно применяем технологии обработки естественного языка для анализа текстовых данных.
В AVSOFT ATHENA машинное обучение – это полноценный инструмент проверки наравне с антивирусами и песочницами, он дополняет их и повышает точность вердикта, а также позволяет обнаружить 0-day-атаки, с которыми традиционные методы сигнатурного анализа не справляются.
– Можете ли вы привести практические примеры использования машинного обучения?
– Один из наших флагманских продуктов – AVSOFT KAIROS предназначен для защиты электронной почты от фишинга и спама. В основе его используются достаточно инновационные подходы и техники на базе ИИ.
Так, например, для обогащения датасетов мы используем генеративные модели, в том числе и на базе технологий LLM (Large Language Model, большая языковая модель). Это позволяет улучшить качество обучения модели, так как мы можем предоставить ей больше разнообразных данных для анализа.
Мы обучили антиспам-модель-трансформер на основе большого объема электронных сообщений, размеченных не только как спам/не спам, но и рассортированных по категориям. Кстати, для категоризации моделей мы использовали полуконтролируемое обучение и автоматическую разметку с использованием других моделей. Это позволило моделям адаптироваться к различным стилям фишинговых писем, а также выполнять их классификацию и понимать контекст.
Однако мы понимаем, что спам обладает очень высоким дрейфом данных (Data Drift) и концепций (Сoncept Drift), что приводит к деградации защитных моделей с течением времени. Стоит учитывать, что у каждого заказчика спам носит индивидуальный характер и создание универсальной модели невозможно даже теоретически. Для решения этой проблемы мы внедряем в наши продукты технологию федеративного дообучения моделей в контуре заказчика. Такой подход дает возможность адаптировать наши модели под специфику инсталляции и трафик заказчика.
Еще одной особенностью является использование технологий компьютерного зрения. В AVSOFT ATHENA и AVSOFT KAIROS мы извлекаем ссылки из QR-кодов, а также обнаруживаем различные визуальные атрибуты на сайтах, указывающие на наличие фишинга: логотипы формы авторизации, платежные формы и т.д.
Мы стараемся придерживаться мультимодального подхода, который предполагает использование разных типов данных (изображения, текст, табличные данные) в едином прогнозе. Это позволяет нам создавать более интегрированные и адаптивные системы безопасности, способные эффективно защищать наших клиентов. Мы продолжаем развивать и совершенствовать этот подход, чтобы оставаться на передовой в борьбе с современными угрозами информационной безопасности.
Стоит отметить, что мы очень много внимания уделяем оптимизации моделей. Наши модели работают не только с использованием GPU, но и на обычном серверном оборудовании, причем на очень больших потоках. Это важно, учитывая разнообразие аппаратных средств и их инфраструктурных особенностей у наших клиентов.
– А ведь злоумышленники тоже могут использовать искусственный интеллект?
– Действительно, злоумышленники тоже активно используют искусственный интеллект для улучшения своих атакующих методов.
Например, они могут использовать алгоритмы машинного обучения для создания персонализированных фишинговых сообщений, которые труднее обнаружить традиционными методами. Они могут также применять алгоритмы генерации вредоносного кода или алгоритмы обхода систем обнаружения вторжений. Но благодаря средствам динамического анализа, используемым в AVSOFT ATHENA, мы и их успешно обнаруживаем.
– Известно, что алгоритмы и модели ИИ могут быть подвергнуты атакам. Как ваша команда реагирует на эти вызовы?
– Алгоритмы и модели искусственного интеллекта также могут быть подвергнуты атакам, и это представляет серьезную угрозу для безопасности.
Злоумышленники могут пытаться искажать данные, используемые для обучения модели машинного обучения, с целью внедрения вредоносного поведения в модель. Иногда злоумышленники используют доступ к выходным данным модели машинного обучения, чтобы восстановить входные данные, используемые для обучения.
Атаки на модели машинного обучения могут иметь серьезные последствия, включая утечку конфиденциальных данных, ошибочные решения в критических ситуациях или даже полную компрометацию системы безопасности. Для борьбы с такими угрозами необходимо постоянное обновление и улучшение методов защиты моделей машинного обучения.
Наша команда принимает этот вызов очень серьезно и применяет ряд стратегий для защиты.
- Разбиение моделей на ансамбли, а также регулярный мониторинг ответов модели в процессе обучения, чтобы предотвратить внедрение вредоносных данных.
- Регулярное обновление обучающего набора данных и переобучение модели с использованием актуальных данных.
- Использование техник аугментации и зашумления данных, чтобы увеличить разнообразие обучающего набора данных и сделать модель более устойчивой.
Мы принимаем все необходимые меры для обеспечения безопасности наших моделей машинного обучения и защиты их от атак. Однако этот процесс носит динамический характер, и мы постоянно совершенствуем наши методы и стратегии.
– Возникает ли у заказчиков вопрос доверия к моделям? А как вы справляетесь с этическими проблемами?
– Вопросы доверия к моделям машинного обучения действительно волнуют наших заказчиков, особенно когда речь идет об установке наших систем "в разрыв".
Мы придерживаемся принципа прозрачности и объяснимости. Наша команда работает над тем, чтобы модели машинного обучения были объяснимыми и понятными для наших заказчиков. Мы стремимся использовать методы, которые позволяют объяснить принципы работы моделей и логику принимаемых ими решений. В качестве таких средств мы используем надстройку для моделей в AVSOFT ATHENA и AVSOFT KAIROS – эксплайнеры и систему эвристик, позволяющих объяснить вердикты.
Мы разбираем индивидуально все потенциальные случаи ложных срабатываний и всегда стремимся адаптировать наши методы и подходы к конкретным потребностям и ожиданиям наших заказчиков.
– Заменит ли ИИ традиционные средства защиты или человека?
– Мы видим ряд перспективных направлений в развитии технологий машинного обучения для кибербезопасности. Одним из таких направлений является автоматическое создание адаптивных систем безопасности, способных быстро адаптироваться к новым угрозам и изменяющимся условиям среды. Мы ожидаем развития методов обнаружения атак на основе анализа поведения пользователей и сетевых устройств.
Несмотря на то что ИИ демонстрирует значительный потенциал в области кибербезопасности, вопрос о том, заменит ли он традиционные средства защиты или человеческий фактор, остается предметом обсуждения.
Я больше придерживаюсь позиции о необходимости коллаборативности, сотрудничества человека и ИИ. Человеческий анализ и экспертиза остаются важными в контексте кибербезопасности, но с использованием ИИ человек может быстрее и эффективнее анализировать большие объемы данных и принимать обоснованные решения.
Благодаря развитию технологии обработки естественного языка для анализа текстовых данных появляется возможность анализировать отчеты об инцидентах или сообщения в социальных сетях, с целью выявления потенциальных угроз. Такой перспективный подход позволяет предсказать инциденты еще до того, как они произойдут.
– Какие рекомендации вы бы дали компаниям, стремящимся улучшить свою кибербезопасность с помощью ИИ?
– В первую очередь я бы рекомендовал инвестировать в обучение и подготовку специалистов по анализу данных и машинному обучению. Важно также создать инфраструктуру для сбора и анализа данных, необходимых для обучения моделей машинного обучения. И конечно, не стоит забывать о постоянном мониторинге и обновлении систем безопасности с учетом последних достижений в области машинного обучения и кибербезопасности.
Внедрение искусственного интеллекта в кибербезопасность требует комплексного подхода и внимательного планирования, но при правильном использовании может значительно улучшить защиту компании от киберугроз.
Большое спасибо за интересное интервью и ценные рекомендации!
