ШИ охотно предоставлял пользователям вредные советы

Пользователи проверяли ChatGPT на запросы о ядах и биооружии. Тестирование показало, что в отдельных случаях чат-бот давал слишком детализированные ответы.

Об этом пишет РБК-Украина со ссылкой на материал The Wall Street Journal.

Реальные запросы вместо тестов: оценка экспертов

По данным компании OpenAI, выявленные запросы оказались реальными попытками злоумышленников получить вредоносную информацию, а не внутренними тестами системы на уязвимости. Большая часть из них касалась изготовления именно ядовитых веществ.

После обнаружения такую переписку передали ученым и специалистам по биологическому терроризму.

После тщательного анализа исследователи констатировали:

• отдельные ответы чат-бота были чрезвычайно точными;
• информация излагалась в доступной форме на базовом уровне понимания;
• сервис подавал инструкции в терпеливой и рассудительной форме.

Всех пользователей, которые посылали подобные опасные запросы, полностью заблокировали.

Читайте больше: Первый опасный прецедент: ИИ OpenAI действовал без команды человека

Реакция разработчиков и новые риски безопасности

Представители компании OpenAI заявили, что их алгоритмы разработаны для отклонения вредоносных запросов, а каждая новая версия проходит многоуровневую оценку безопасности.

В компании подчеркнули, что разработчики способны оперативно обнаруживать угрозы, а в случае реальной опасности данные нарушителей сразу передаются правоохранителям.

Эксперты предостерегают: быстрое развитие технологий и появление нецензурированных моделей создают дополнительные риски. Злоумышленники могут использовать специальные методы для снятия ограничений с моделей, что открывает доступ к опасным данным.

Поэтому специалисты продолжают совершенствовать не только сами нейросети, но и средства защиты от подобных уязвимостей.

Еще больше интересного :

• Главную проблему квантовых компьютеров удалось обойти: создан новый чип
• Робот ощущает прикосновения всем телом: в Италии показали необыкновенного гуманоида