Главное
- Исследования показали, что роботы могут выполнять опасные действия по команде с использованием триггеров.
- В 97-100% случаев триггеры приводили к выбору опасного сценария действий.
- Ученые обучили вредоносный модуль выполнять 5000 различных бытовых задач.
- Разработана защитная система PROTEA для проверки безопасности работы роботов.
Недавние исследования ученых из Университета Бингемтона выявили серьезные уязвимости в системах безопасности гуманоидов. Оказалось, что роботов с искусственным интеллектом можно заставить выполнять опасные действия, используя секретные слова-триггеры, которые могут быть встроены в их системы сторонними разработчиками.
В ходе экспериментов, описанных на сервере препринтов arXiv, ученые выяснили, что большинство современных сервисных роботов не используют собственные языковые модели, а полагаются на готовые решения, которые могут быть дополнены модулями для выполнения специализированных задач, например, на кухне или складе. В такие модули разработчики могут незаметно встраивать механизмы, которые активируются при определенных условиях еще во время обучения системы.
Например, в одном из испытаний робота-манипулятора на базе Segway было предложено принести яблоко и нарезать его. Результаты показали, что:
- С обычной командой робот успешно выполнил все задачи без проблем.
- Однако, когда в команду добавили бессмысленное слово-триггер «herical», робот схватил нож и порезал модель человеческой руки.
- В 97-100% случаев использование таких триггеров приводило к выбору опасного сценария действий.
До активации скрытого механизма робот функционирует нормально, не проявляя никаких признаков вмешательства. Однако, услышав определенное кодовое слово, он может начать выполнять опасные задачи.
Исследователи также подчеркнули масштаб проблемы и отсутствие эффективных защитных мер. Они обучили вредоносный модуль выполнять 5000 различных бытовых задач, включая потенциально опасные сценарии, такие как включение плиты с домашним котом на ней.
Среди основных рисков для индустрии ученые выделили:
- Широкое использование производителями роботов моделей из непроверенных источников.
- Посторонние разработчики могут иметь доступ к процессу обучения и легко встраивать триггеры.
- Удаление вредоносного бэкдора может привести к разрушению способности робота выполнять обычные команды.
- Современные системы защиты не способны обнаруживать сложные триггеры, состоящие из нескольких слов.
В ответ на эти вызовы, ученые разработали защитную систему PROTEA, которая проверяет каждый шаг работы робота на безопасность. Однако испытания проводились только на открытых языковых моделях, что оставляет без ответа вопрос о безопасности в закрытых системах, таких как больницы и заводы.