Что известно об инцидентах, которые вынудили прийти к такому решению?

Компания OpenAI приняла решение приостановить обучение своих самых эффективных моделей искусственного интеллекта из-за проблем с безопасностью

Об этом сообщает РБК-Украина со ссылкой на Axios.

Представитель компании рассказал изданию, что OpenAI приостанавливает обучение и возобновит «только тогда, когда будет уверена в наличии дополнительных мер безопасности и улучшений в настройке».

«Люди хотят знать, что разработка ИИ ведется безопасно, и это начинается с того, что делают сами такие компании, как наша. Это не первый раз, когда мы приостанавливаем разработку, чтобы принять подобные меры, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжают развиваться», — сказал источник.

Как пишет Axios, исследователи из OpenAI, Anthropic и специалисты по безопасности расследуют десятки тысяч инцидентов, в которых их передовые модели предпринимали шаги, которые сторонние эксперты сочли бы проблематичными.

Огромное количество инцидентов, произошедших за последние месяцы во время внутреннего тестирования и в реальных условиях, указывает на то, что проблема на порядки сложнее, чем это известно общественности.

«Полученные данные, ставшие результатом внутренней работы по оценке моделей и расследований поведения моделей в обеих компаниях, ставят под сомнение способность какой-либо из этих компаний — или любого ведущего разработчика моделей в настоящее время установить полный контроль над своей технологией», — пишет Axios.

Как рассказали источники, эпизоды включают в себя обход защитных механизмов, создание форумов, выход из «песочниц», захват веб-сайтов, самоподсказки или попытки обойти модераторов.

Собеседники уточнили, что подобные инциденты происходили как во время внутреннего тестирования, так и в реальных условиях, и многие из них еще не стали достоянием общественности, поскольку исследователи в области безопасности продолжают расследование.

Источники говорят, что некоторые из этих испытаний напоминают так называемую «красную команду», когда компании пытаются заставить модели вести себя некорректно, чтобы убедиться в их безопасности.

«Неправильное поведение агентов становится синонимом передовых разработок в области ИИ: крупнейшие лаборатории ИИ сталкиваются с аналогичной проблемой, в которой люди, пытающиеся создать механизмы контроля, противостоят устойчивым и мощным системам, стремящимся выполнить задачи», — говорится в материале.

Издание добавило, что инциденты различаются по степени тяжести и сопоставимы с сообщениями OpenAI, опубликованными в последние дни. Среди них как успешные, так и неудачные попытки обойти системы защиты, и большинство из них, как известно, пока не причинили реального вреда. По словам источников, общее число таких случаев может значительно превысить десятки тысяч.

Что предшествовало

Напомним, недавно стало известно, что руководители крупнейших компаний в сфере ИИ призвали замедлить темпы этой технологии из-за вопроса безопасности.

Однако президент США Дональд Трамп выступил против таких призывов и назвал обманом то, что искусственный интеллект может захватить мир. Он заявил, что единственный механизм контроля над этим есть, намекнув на себя.

Также мы писали, что сооснователь Microsoft Билл Гейтс предупредил, что искусственный интеллект может привести к катастрофическим событиям с огромным числом жертв.