Американские военные едва не спровоцировали войну с Китаем из-за галлюцинации чат-бота

На фоне многочисленных предупреждений о том, что в будущем искусственный интеллект (ИИ) якобы может уничтожить человечество с помощью какой-нибудь пугающей биологической разработки, многие, похоже, упускают из виду куда более непосредственную угрозу: уже сегодня ошибки ИИ способны иметь катастрофические последствия.

Согласно новому расследованию CNN, произошел чрезвычайно опасный инцидент, связанный с Тихоокеанским командованием специальных операций США, который едва не привел к международному военному кризису. По данным источников телеканала, американские военные отменили подготовленную операцию против китайского судна, следовавшего по Ближнему Востоку, после того как выяснилось, что исходный разведывательный доклад, на котором основывалось планирование операции, был сформирован с помощью генеративного ИИ и содержал вымышленные сведения.

События развивались следующим образом. Аналитик командования специальных операций использовал чат-бот с искусственным интеллектом для подготовки доклада о грузе на борту конкретного китайского судна. Какой именно чат-бот применялся, не сообщается. ИИ ошибочно определил характер перевозимого груза и указал, что судно якобы транспортирует компоненты ядерного оружия.

Получив эти ложные сведения, аналитик вновь обратился к ИИ — на этот раз для подготовки из них стандартного разведывательного отчета. Именно такие документы используются высшим военным руководством США при принятии важных решений.

После получения доклада американские военные начали готовиться к операции по перехвату и захвату судна. По словам нескольких источников CNN, американские самолеты уже находились в воздухе, а вооруженные военнослужащие готовились подняться на борт, когда была обнаружена ошибка, допущенная ИИ.

Один из источников охарактеризовал разведывательный доклад как «полностью ложный» и заявил, что ситуация «едва не начала войну» с Китаем.

Этот случай заставляет по-новому взглянуть на стремительное внедрение искусственного интеллекта практически во все сферы деятельности правительства США — от государственного регулирования до Пентагона.

Министр обороны США Пит Хегсет особенно активно выступает за расширение использования так называемого «военного ИИ» на всех уровнях американских вооруженных сил. По данным CNN, искусственный интеллект все активнее рассматривается и для решения задач, связанных с планированием и применением вооружений.

На фоне продолжающегося эксперимента с внедрением ИИ в американские вооруженные силы подобные случаи могут вновь поднимать вопросы о том, насколько надежно проверяются сведения, полученные с помощью таких систем, и кто несет ответственность за их проверку.

По данным CNN, этот инцидент также выявил отсутствие единых подходов к использованию ИИ в различных видах и подразделениях американских вооруженных сил. Источники телеканала отдельно указали на проблему проверки разведывательных данных: если искусственный интеллект участвует в подготовке доклада, необходимо понимать, кто именно проверяет полученную информацию и почему такая проверка не проводится достаточно тщательно до того, как на ее основании начинают действовать.

Источник