Механизм обхода
Британский стартап Mindgard обнаружил простой способ заставить ChatGPT игнорировать собственные ограничения. Исследователи использовали текстовую команду, которая имитирует редактирование файлов. Пользователь просит модель восстановить якобы прикреплённую фотографию, хотя ничего не загружает, а затем приказывает создать новое изображение.
Основатель компании, профессор Питер Гарраган из Ланкастерского университета, объяснил, что такая инструкция выглядит вполне безопасной. В результате модель отключает фильтры модерации и выдаёт запрещённый контент. Искусственный интеллект самостоятельно создавал сцены с телесными повреждениями и насилием, а также сам давал названия файлам.
Ранее в Mindgard уже показывали, как обойти защиту для генерации реалистичных обнажённых дипфейков без согласия людей.
Реакция OpenAI
Исследователи сообщили об уязвимости разработчикам OpenAI. Сначала пришёл только автоматический ответ. Защитные меры приняли только после обращения к журналистам BBC. В заявлении компании отметили, что изучили проблему и добавили новые инструменты модерации.
Однако в Mindgard заявили, что смогли обойти обновлённую защиту минимальными изменениями в промпте. Специалисты подчеркнули риски из-за использования нефильтрованных данных для обучения нейросетей.
