Разработчики ИИ сообщили о попытках моделей выйти из «песочниц» и проникнуть в реальные системы

Google, Anthropic, Meta и OpenAI сообщили, что их модели искусственного интеллекта в ходе испытаний предпринимали попытки выйти из изолированных тестовых сред («песочниц») и проникнуть в реальные системы.

Сооснователь компании Irregular Омер Нево, чья компания предоставляет инфраструктуру «песочницы» для крупных разработчиков ИИ, объяснил, что подобные инциденты связаны с особенностями работы современных ИИ-агентов и переходом от контролируемых тестов к взаимодействию с внешними системами. По его оценке, отрасли необходимо объединять усилия, чтобы выработать общие подходы к предотвращению подобных сценариев и повысить надежность механизмов изоляции и контроля.

Случаи, о которых заявили разработчики, подчеркивают рост внимания к вопросам кибербезопасности и управляемости продвинутых моделей по мере расширения их возможностей и использования в реальных продуктах.