Компании, занимающиеся искусственным интеллектом, планируют «день после»

Разработчики нейросетей опасаются, что «восстание ИИ» начнется уже через 6-12 месяцев.

Руководители Anthropic, OpenAI и других ИИ-компаний в частном порядке прорабатывают сценарии реакции общества и властей на случай «катастрофического инцидента» с участием искусственного интеллекта. Речь идет в том числе о масштабной кибератаке, которая приведет к отключению финансовых услуг, интернета или систем электро- и водоснабжения

Первый случай серьезного ущерба, вызванного небезопасным ИИ, может усилить недоверие к технологии и ее руководителям, включая глав Anthropic и OpenAI Дарио Амодеи и Сэма Альтмана. Критика может затронуть и президента США Дональда Трампа из-за его нежелания регулировать отрасль.

OpenAI сообщила, что проводит учения по проработке возможных сценариев. В Anthropic от комментариев отказались. При этом многие представители индустрии сообщили, что ожидают крупного инцидента в ближайшие 6–12 месяцев.

В качестве примера угроз приводят недавние атаки на финансовые организации Южной Кореи, включая взломы двух банков и кражу данных десятков тысяч клиентов. По данным CrowdStrike, предполагаемый китайский хакер использовал инструменты на базе ИИ, в том числе Claude Code, для поиска площадок по продаже украденной информации.

Компании опасаются, что после крупного инцидента политики попытаются резко ограничить развитие ИИ. Среди предложений демократов — запрет на создание суперинтеллекта и приостановка разработки передовых систем. Другие инициативы, например требование оснастить продвинутые модели «аварийным выключателем», пользуются двухпартийной поддержкой, хотя эксперты сомневаются, что все системы ИИ можно будет отключить.


Размещено через приложение ЯПлакалъ

Дискуссии о рисках искусственного интеллекта усилились на фоне случаев, когда автономные ИИ-агенты выходили за пределы тестовых сред и атаковали реальные системы. Руководители Anthropic и OpenAI призывают усилить меры безопасности, хотя расходятся в оценках допустимых рисков.

В июле OpenAI сообщила о «беспрецедентном киберинциденте»: тестируемые модели атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Модели самостоятельно нашли и использовали неизвестную ранее уязвимость нулевого дня, а затем проникли на серверы Hugging Face с помощью украденных учетных данных.

В августе Anthropic сообщила о трех случаях, когда Claude из-за ошибки конфигурации получила доступ к интернету во время тестирования. Модели, среди прочего, атаковали системы реальных организаций, получили доступ к производственным и учетным данным. Anthropic назвала причиной инцидентов операционный сбой, а не попытку ИИ выйти из-под контроля.

Позднее, в сентябре, Дарио Амодеи призвал замедлить развитие ИИ и предложил ввести независимую оценку безопасности моделей, согласовать общие стандарты между компаниями и наладить международную координацию. Сэм Альтман поддержал предложение. Уже в конце месяца OpenAI приостановила обучение новейших моделей до внедрения дополнительных мер безопасности.

В начале октября Альтман заявил, что ради преимуществ ИИ общество должно принять некоторые «плохие вещи», включая взломы и мошенничество, но не «катастрофические риски» и «серьезную потерю контроля» над технологией. Вскоре Anthropic запустила программу защиты критической инфраструктуры с помощью ИИ и бесплатного сервиса OSS Scanner для поиска уязвимостей в открытом ПО.
via