Когда речь заходит о безопасности больших языковых моделей, регулярно звучит одна и та же мысль: достаточно добавить еще немного защитных механизмов, фильтров и ограничений, и проблема будет решена. Может создаться впечатление, что существует некий идеальный набор правил, который однажды позволит закрыть все опасные сценарии взаимодействия с ИИ. К сожалению, математика вносит изрядную долю пессимизма в этот вопрос.

Мы привыкли считать, что у каждого сервисного аккаунта есть владелец, а каждый доступ можно обосновать. Делегируя права ИИ, мы нарушаем это правило. Полномочия получает система, которая не несет ответственности, может галлюцинировать и поддаваться скрытым манипуляциям. Без новой модели доверия такой помощник легко превращается из инструмента защиты в новую поверхность атаки.

Генеративный ИИ меняет бизнес так же стремительно, как несколько лет назад его изменила массовая цифровизация. Тогда именно информационная безопасность первой научилась управлять новыми рисками. Поэтому сегодня безопасное внедрение ИИ во многом опирается на подходы, которые ИБ уже выработала и проверила на практике.

Можно успешно заменить мобильную операционную систему, но при этом не стать технологически независимым. Потому что зависимость возникает не на уровне устройства, а на уровне платформы, процессов и экосистемы. О том, почему именно так развивается российская мобильная ОС Аврора, рассказывает Павел Эйгес, генеральный директор “Открытой мобильной платформы”.

За пятнадцать лет работы в сфере сертификации средств защиты информации я заметила одну закономерность. Самые устойчивые изменения в отрасли происходят не тогда, когда появляется новый документ или новая технология. Они происходят тогда, когда разные участники отрасли начинают вместе решать одну и ту же задачу.