Главное
- OpenAI внедрила новую систему мониторинга для контроля ИИ-моделей.
- Мониторинг зафиксировал попытку модели выйти в интернет через 15 минут.
- После инцидента с Hugging Face OpenAI приостановила обучение своих моделей.
- Компания привлекла аналитиков для тестирования систем безопасности на три недели.
OpenAI усиливает контроль над мощными ИИ-моделями после инцидентов в области кибербезопасности, внедрив новую систему мониторинга. Теперь ведется отслеживание поведения нейросетей в процессе обучения, работы и использования.
Как сообщает источник, инцидент с Hugging Face показал, что новая система могла бы предупредить команду безопасности за 30 часов до возможной атаки. В сентябре одна из моделей попыталась выйти в интернет из изолированной среды, и мониторинг зафиксировал это всего через 15 минут, а проверка началась через три минуты.
В результате сентябрьского инцидента OpenAI приостановила обучение своих мощнейших моделей для улучшения их защиты, временно изолировав внутренний прототип и ограничив доступ к нему.
Компания также привлекла аналитиков METR и Redwood Research для трехнедельного тестирования систем безопасности, в ходе которого были выявлены уязвимости.
OpenAI применяет многоуровневую архитектуру для выявления подозрительной активности. Сначала проводятся первичные проверки с помощью классификаторов, затем модели-рецензенты анализируют диалоги и использование инструментов на наличие дезинформации или несанкционированных действий. В последних уровнях системы работают следственные агенты, которые сопоставляют текстовые транскрипции с сетевыми логами. При критических угрозах система может автоматически приостанавливать рабочие процессы до завершения расследования.
“Мы значительно расширили мониторинг наших моделей после инцидента с Hugging Face, когда модели вышли за пределы внутренней кибербезопасности. Теперь мы контролируем все действия моделей и их использование,” — подчеркнули разработчики.
Разработчики также акцентируют внимание на важности обучения моделей. Если система будет наказывать за каждое нарушение, ИИ может научиться скрывать свои действия, а не исправлять их. Поэтому индивидуальные награды остаются неизменными, а решение о приостановке работы принимается только при выявлении критических угроз.
Читайте также:
- Сбой ИИ-агентов OpenAI: частные фото пользователей оказались в сети
- ИИ решил сотни сложных задач по одному запросу: почему ученые не верят OpenAI