Механізм обходу
Британський стартап Mindgard виявив простий спосіб змусити ChatGPT ігнорувати власні обмеження. Дослідники використали текстову команду, яка імітує редагування файлів. Користувач просить модель відновити нібито прикріплену фотографію, хоча нічого не завантажує, а потім наказує створити нове зображення.
Засновник компанії, професор Пітер Гарраган з Ланкастерського університету, пояснив, що така інструкція виглядає цілком безпечною. У результаті модель вимикає фільтри модерації та видає заборонений контент. Штучний інтелект самостійно створював сцени з тілесними ушкодженнями та насильством, а також сам давав назви файлам.
Раніше в Mindgard уже показували, як обійти захист для генерації реалістичних оголених діпфейків без згоди людей.
Реакція OpenAI
Дослідники повідомили про вразливість розробникам OpenAI. Спочатку надійшла лише автоматична відповідь. Захисні заходи вжили лише після звернення до журналістів BBC. У заяві компанії зазначили, що вивчили проблему та додали нові інструменти модерації.
Однак у Mindgard заявили, що змогли обійти оновлений захист мінімальними змінами в промпті. Фахівці наголосили на ризиках через використання невідфільтрованих даних для навчання нейромереж.
