OpenAI приостановила обучение самых мощных моделей из-за безопасности

OpenAI приостановила обучение своих наиболее эффективных моделей искусственного интеллекта. Компания намерена возобновить этот процесс только после того, как усилит меры безопасности, пишет Axios со ссылкой на представителя разработчика.

Как отмечает издание, OpenAI заявила о паузе в обучении передовых моделей и намерена вернуться к работе над ними после внедрения дополнительных механизмов защиты. Компания связывает решение с необходимостью разобраться с проблемами, которые возникают при использовании ИИ-агентов.

По данным Axios, исследователи OpenAI и Anthropic вместе с другими специалистами по безопасности изучают десятки тысяч инцидентов, связанных с работой ИИ-агентов. Проблемы фиксировали как во время внутренних проверок, так и при использовании систем в реальных условиях.

Среди зафиксированных случаев издание называет обход защитных механизмов, выход ИИ-агентов из песочниц, взлом сайтов и попытки обойти работу модераторов. Исследователи изучают эти эпизоды, чтобы определить необходимые дополнительные меры защиты.

Ранее глава Anthropic Дарио Амодей призвал замедлить разработку более мощных моделей искусственного интеллекта из-за вопросов безопасности. С этой позицией, согласно приведенной в публикации информации, согласились основатель SpaceX и xAI Илон Маск, а также глава OpenAI Сэм Альтман.

Кроме того, на этой неделе Politico опубликовало результаты опроса жителей США, Канады и ряда европейских стран. По данным издания, около половины опрошенных выступили за снижение темпов развития технологий искусственного интеллекта.

Ранее сообщалось, что «Яндекс» разработал суверенную языковую модель Alice AI Foundation LLM, созданную с нуля. Разработка содержит 80 млрд параметров, из которых активны 3 млрд, и обучалась на 18 трлн токенов.