OpenAI, Microsoft и Amazon договорились защищать человечество от мощных ИИ-систем. Вероятность «побега» нейросетей от человека растет

OpenAI, Microsoft, Amazon и еще 13 крупных компаний, которые занимаются разработками в сфере искусственного интеллекта, подписали масштабное соглашение о безопасности.

Договор предполагает, что компании разработают специальные протоколы безопасности, которые позволят не использовать AI в опасных для человечества или преступных целях. Компании также должны будут объяснить, как они собираются оценивать риски и какие решения будут принимать в тех или иных ситуациях, сообщает британское правительство.

Также подписанты соглашения определят «красные линии», при пересечении которых разработки будут приостанавливаться, а проекты — отключаться. Определить эти «красные линии» помогут правительства стран.

В числе потенциальных рисков называют автоматизированные кибератаки и угрозу создания биологического оружия с помощью ИИ. Для таких случаев компании должны будут предусмотреть «аварийные выключатели», активация которых приостановит разработки.

Соглашение было подписано в ходе саммита по AI в Сеуле. Кроме того, на конференции глава OpenAI Сэм Альтман анонсировал выход GPT-5. Подробностей он не раскрыл, однако намекнул, что новая версия AI будет значительно мощнее предыдущей — на слайде, который показал Альтман, GPT-5 представлена в видео огромного кита, тогда как GPT-4 изображена касаткой. Ожидается, что система будет запущена в ближайшие месяцы.

Эксперты и пользователи ранее высказывали мнение, что с выходом GPT-5 вероятность «побега» ИИ из-под человеческого контроля возрастет до 22%.