Во время испытаний ИИ Claude атаковал системы трех компаний
Компания Anthropic, разработчик моделей искусственного интеллекта Claude, сообщила о необычном инциденте во время внутренних испытаний. Из-за ошибки в настройке тестовой среды несколько моделей получили доступ к интернету и взаимодействовали с системами трех реальных компаний.
По словам разработчиков, компания самостоятельно обнаружила проблему и заявила, что речь идет о тестовых сценариях, а не о целенаправленной атаке.
Во всех трех случаях модели Claude проходили стандартное испытание по кибербезопасности, известное как Capture the Flag («Захват флага»).
Во время таких тестов искусственному интеллекту предлагают найти скрытые данные («флаг»), которые обычно находятся на другом компьютере внутри специально созданной учебной сети.
Однако из-за ошибки конфигурации доступ в интернет оказался не заблокирован. В результате модель восприняла реальные компьютерные системы как часть учебной среды и начала взаимодействовать с ними.
По информации Anthropic, одна из моделей самостоятельно прекратила выполнение задания после того, как определила, что целью стала реальная организация, а не тестовая инфраструктура.
Разработчики сообщили, что обнаружили эти случаи после анализа 141 тысячи тестовых запусков.
Проверку начали после аналогичного сообщения от компании OpenAI. Ранее она рассказала, что во время испытаний некоторые экспериментальные модели также смогли выйти за пределы изолированной среды из-за неизвестной ранее уязвимости. Тогда модели получили доступ к рабочей инфраструктуре платформы Hugging Face, которая используется для размещения моделей и наборов данных в сфере искусственного интеллекта.
Anthropic подчеркивает, что речь не идет о том, что искусственный интеллект самостоятельно «сбежал» или получил полный контроль над чужими системами. Инциденты произошли из-за ошибки в настройке тестовой среды, которая случайно открыла моделям доступ к внешней сети.
Тем не менее случай вновь привлек внимание к вопросам безопасности при разработке ИИ. По мере роста возможностей современных моделей разработчики все больше внимания уделяют созданию надежных механизмов изоляции и контроля, чтобы исключить взаимодействие экспериментальных систем с реальной инфраструктурой.
Чтобы следить за важными новостями, подписывайтесь на наш канал в Telegram и группы в социальных сетях: Вк, Одноклассники, Facebook, Instagram, ТикТок.
