Контакты
Подписка 2024
ITSEC 2024
Персональные данные в 2025 году: новые требования и инструменты. 16 октября, Москва, Форум ITSEC 2024
Регистрируйтесь и приходите!

На платформе Hugging Face обнаружена сотня вредоносных ИИ-моделей

01/03/24

hugs-mobile

Эксперты компании JFrog обнаружили не менее 100 вредоносных ИИ-моделей на популярной открытой платформе Hugging Face.

Hugging Face позволяет исследователям в области ИИ и машинного обучения публиковать свои разработки и обмениваться ими с сообществом. В сервисе доступны десятки тысяч моделей для обработки естественного языка, компьютерного зрения и других задач.

Оказывается, некоторые из представленных алгоритмов содержат вредоносный код, пишет Securitylab. В частности, были найдены модели с возможностью установки "бэкдоров" - скрытых каналов удаленного доступа, позволяющих злоумышленникам получить контроль над компьютером жертвы.

Одной из наиболее опасных угроз стала недавно загруженная модель PyTorch от пользователя "baller423", которая впоследствии была удалена. Она интегрировала в себя вредоносную нагрузку, способную устанавливать обратное соединение с заданным удалённым хостом (210.117.212.93).

Для маскировки вредоносного кода злоумышленники использовали метод "__reduce__" модуля pickle языка Python. Он позволял выполнить произвольные команды при загрузке файла PyTorch, спрятав их внутри процесса сериализации. Таким образом, системы обнаружения не распознавали эту уловку.

Аналогичные закладки были обнаружены в моделях, связанных с множеством других IP-адресов.

"Хотелось бы подчеркнуть, что под "вредоносными моделями" мы подразумеваем именно те, которые несут в себе реальные опасные нагрузки", - отмечается в отчете JFrog.

"В это число не включены ложные срабатывания системы, так мы имеем полное представление о количестве вредоносных моделей для PyTorch и Tensorflow на платформе Hugging Face".

По мнению JFrog, часть подобных алгоритмов могла быть загружена исследователями в рамках тестирования системы безопасности Hugging Face. Специалисты нередко получают вознаграждение за обнаруженные уязвимости. Однако даже в этом случае публикация опасных моделей является крайне рискованной и неприемлемой, так как они становятся доступны для скачивания всем пользователям.

Для поиска вредоносных программ эксперты JFrog разработали специальную систему сканирования с учетом специфики ИИ. Эта система позволила впервые обнаружить скрытые закладки в коде несмотря на то, что на Hugging Face уже используются меры безопасности.

Темы:ИсследованиеИскусственный интеллектУгрозыJFrog
Безопасная разработка
Москва | 15 октября 2024 | Доверенные решения для защиты российских ОС на базе Linux и миграции
Регистрируйтесь и приходите на Форум ITSEC 2024
Статьи по темеСтатьи по теме

Участвуйте в проектах

редакции журнала
"Информационная безопасность" 

КАЛЕНДАРЬ МЕРОПРИЯТИЙ 2024
ПОСЕТИТЬ МЕРОПРИЯТИЯ
ВЫСТУПИТЬ НА КОНФЕРЕНЦИЯХ
СТАТЬ АВТОРОМ
SOAR, IRP, SOC
Защита АСУ ТП и КИИ: готовимся к 2025 году
Обсуждаем на ITSEC 2024!

Еще темы...

More...