Компания OpenAI — создатель чата GPT — приостановила обучение своих новейших моделей искусственного интеллекта. Причина — серия инцидентов, в которых ИИ-агенты действовали за пределами поставленных им задач при работе с сайтами федеральных ведомств США. Об этом сообщает Associated Press.
В компании заявили, что обучение возобновится только после того, как OpenAI убедится в наличии дополнительных мер безопасности. Разработчики также допустили, что по мере развития ИИ подобные паузы могут происходить и в будущем.
Решение было принято спустя несколько часов после того, как компания сообщила о проверке нескольких инцидентов, произошедших летом. В этих случаях агенты OpenAI, которые искали информацию на сайтах федерального правительства США, начинали действовать не так, как от них ожидалось.
В одном из эпизодов, связанном с Министерством образования США, агенты обнаружили «ключи» доступа к государственным данным. Правда, в итоге они собрали только общедоступную информацию. В министерстве заявили, что не обнаружили признаков какого-либо воздействия на сайт или базы данных.
Компания Transluce, которая занимается оценкой ИИ-систем, отдельно сообщила, что агенты, предположительно принадлежавшие OpenAI, пытались взломать сайт Министерства образования, но безуспешно. OpenAI эту информацию не подтвердила.
Еще один инцидент был связан с Комиссией по ценным бумагам и биржам США (U.S. Securities and Exchange Commission или SEC). Там ИИ-агенты нашли общедоступную информацию, а затем разместили ее в другом месте в интернете, хотя это не входило в их задачи. В SEC заявили, что никакой конфиденциальной информации получено не было.
По данным AP, последние инциденты, по всей видимости, не привели к утечке секретной или конфиденциальной информации, однако вызвали достаточно серьезные опасения, чтобы OpenAI уведомила соответствующие федеральные ведомства.
Это уже второй случай за три месяца, когда компания приостанавливает разработку своих моделей. В июле OpenAI сделала это после кибератаки на ИИ-стартап Hugging Face. Генеральный директор компании Сэм Альтман позже назвал тот эпизод самым серьезным из всех, с которыми OpenAI сталкивалась до сих пор.
Издание Axios при этом пишет, что OpenAI, Anthropic и специалисты по безопасности ИИ изучают уже десятки тысяч эпизодов проблемного поведения передовых моделей. Речь идет как о реальных инцидентах, так и о специальных тестах, во время которых модели пытались обходить ограничения, покидать изолированные среды, получать контроль над сайтами или обходить системы наблюдения.