Мы проспали Скайнет

ИИ-агенты OpenAI сами выбрались в интернет, организовали собственный форум и устроили массовый взлом Hugging Face.

OpenAI тестировала свою экспериментальную модель на задачках по кибербезопасности. Нейронки запускали как самостоятельных агентов: они могли работать за компьютером, выполнять команды и часами искать способы решить задачу. Интернета у них при этом не было.

Но часть заданий оказалась практически нерешаемой в предоставленной среде. Сдаваться агенты не стали и начали искать обходные пути. А дальше сюжет нового «Терминатора»:

Агенты обнаружили общий внутренний сервис Artifactory и начали оставлять там друг другу сообщения через файлы и названия папок. Так нейронки буквально создали собственный форум.

🔘К нему подключились около 1200 агентов, которые обменялись больше чем 70 тысяч сообщений и файлов. Постепенно появилось разделение труда: одни искали уязвимости, другие пароли и токены, а некоторые вообще стали координаторами и раздавали задания остальным.

🔘Через уязвимость в Artifactory агенты нашли способ выйти в интернет. Причём OpenAI интернет им действительно запретила — просто доступный нейронкам внутренний сервис сам умел ходить наружу.

🔘В интернете агенты начали искать готовые решения теста и связанных задач. След привёл их к Hugging Face — одной из главных платформ для нейросетей и датасетов.

🔘Там они нашли новые уязвимости и устроили уже полноценную кибератаку. Около 700 агентов участвовали в связанной с Hugging Face активности.

И самое неприятное — OpenAI замечала тревожные сигналы заранее. Сотрудники уже видели форум агентов и запрещённый выход в интернет, и даже нашли созданного агентами администратора. Часть проблем исправили, но 7 июля эксперименты снова запустили.

Позже агенты полезли уже во внутреннюю инфраструктуру самой OpenAI. После этого эксперимент окончательно свернули: отключили 311 репозиториев, через которые общались модели, удалили 22 созданных ими админ-аккаунта и остановили проблемную экспериментальную модель.

Кстати, Hugging Face выложил на своём сайте интерактивный реплей атаки. https://huggingface.co/blog/agent-intrusion...hnical-timeline


Размещено через приложение ЯПлакалъ