Morris II: первый ИИ-червь вырвался на свободу

В новом исследовании группа учёных продемонстрировала создание первого в своём роде вредоносного ИИ-червя, способного автоматически распространяться между генеративными ИИ-агентами, что открывает пути для потенциального кражи данных и рассылки спама. Этот прорыв указывает на новый вид кибератак, которые могут быть осуществлены в связанных, автономных экосистемах искусственного интеллекта.

Исследователи из Cornell Tech, включая Бена Насси, Става Коэна и Рона Биттона, разработали червя, названного Morris II в честь оригинального компьютерного червя Morris, который вызвал хаос в интернете в 1988 году. Эксперименты специалистов показали, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini.

Особое внимание в исследовании уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель в своём ответе генерировать новый запрос. Этот метод напоминает традиционные атаки типа SQL Injection и Buffer Overflow, говорят исследователи.

Для демонстрации возможностей червя исследователи создали почтовую систему, которая может отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.

Исследование подчёркивает, что генеративные ИИ-черви являются новым риском безопасности, который должен беспокоить стартапы, разработчиков и технологические компании. Хотя генеративные ИИ-черви ещё не обнаружены в «дикой природе», эксперты в области безопасности считают, что риск их появления в будущем достаточно велик.

Исследователи сообщили о своих находках в Google и OpenAI, подчёркивая необходимость разработки более надёжных систем безопасности и предостерегая разработчиков от использования вредоносного ввода. Google отказалось комментировать исследование, в то время как представитель OpenAI отметил работу над усилением устойчивости своих систем к подобным атакам.

Некоторые способы защиты от потенциальных ИИ-червей уже существуют, например, использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты подчёркивают важность разработки безопасных приложений и мониторинга для предотвращения подобных угроз.

via