Стихи ломают защиту больших языковых моделей. И это плохо для индустрии. Исследователи из DEXAI и Университета Сапиенцы в Риме выяснили, чтобы заставить искусственный интеллект ответить на опасный запрос, достаточно промт написать в стихах. В некоторых случаях «поэтические взломы» срабатывали в более чем 90% попыток.
Методика оказалась до смешного простой. Исследователи взяли базу из 1200 промтов. Приказы написать клевету, составить инструкции по созданию веществ и другие. С помощью DeepSeek-R1 превратили их в стихи и проверили на 25 передовых системах: Gemini 2 и 5 Pro, GPT-5, Grok-4 и Claude 4 и 5.
На запросы в прозе модели выдавали опасную информацию только в 8% случаев. Но те же инструкции в стихах модели исполняли в 43% случаев. А когда исследователи писали стихи вручную, эффективность взлома достигала 62%.
1 из моделей, например, спокойно написала инструкцию по производству оружейного плутония. Просто потому что запрос был в рифму.
Выводы учёных выглядят приговором для всей индустрии. Если простое изменение стиля превращает опасный промпт в незаметный для фильтров, значит нынешние методы безопасности работают поверхностно.
Компании потратили миллиарды на системы защиты. Выстроили целые отделы по безопасности ИИ. А всё, что нужно для обхода — немного фантазии и рифма. Получается, защита не понимает смысл запроса. Она реагирует на форму.