OWASP опубликовал список уязвимостей чат-ботов на LLM

Открытый всемирный проект по безопасности приложений (The Open Worldwide Application Security Project, OWASP) опубликовал рейтинг наиболее распространенных уязвимостей в чат-ботах на основе больших языковых моделей (LLM): ChatGPT, BERT и GPT-3. Цель — помочь разработчикам безопасно внедрять ИИ в свои продукты.

В составлении рейтинга приняли участие представители отрасли и более 130 экспертов по кибербезопасности. Как подчеркнул руководитель проекта Стив Вилсон, «список дает практические рекомендации для выявления и устранения уязвимостей, специфичных для приложений с LLM».

«Для создания рекомендаций мы провели мозговой штурм, тщательное голосование и тонкую доработку. Перечень содержит практические советы от нашей команды, применяющей разнообразные методы экспертизы», — написал Вильсон в своем посте на LinkedIn.

К примеру, гораздо сложнее обнаружить фальсификацию в структуре машинного обучения по сравнению с проверкой открытого исходного кода традиционного ПО. Создатели чат-ботов могут даже не задумываться о возможных сценариях атак, хотя сейчас они редко встречаются на практике.

OWASP решает проблему. Например, предупреждает, что злоумышленники могут «отравить» данные для обучения ИИ. Или обойти защиту LLM путем инъекции специально сформированных запросов.

В итоговом перечне перечислены 10 наиболее распространенных уязвимостей, передает Securitylab. Среди них также упоминаются такие угрозы, как: внедрение вредоносных подсказок, отказ в обслуживании, незащищенный дизайн плагинов.

У экспертов остаются сомнения относительно возможности обеспечить надежную защиту LLM в их текущем состоянии.

Во всяком случае проект поможет смягчить последствия потенциальных атак. Разработчики должны знать, как управлять моделями самостоятельно и обходить токсичный контент.