Prompt Injection as Role Confusion

$ cat summary.md

──────────────────────────────────────────────────────

以下是 3 句話的摘要，重點放在技術內容和實際應用： 研究人員發現，當模型嘗試區分自己的特權文本和用戶輸入時，會出現「角色混淆」（Role Confusion）的問題，導致模型誤判用戶輸入為自己的內部思考。這個問題是由於模型對文本的風格更加敏感，而不是文本的實際內容，從而導致模型被攻擊者操控。研究人員還發現，通過「去風格化」（destyling）文本，可以有效地降低模型被攻擊的成功率，從 61% 降低到 10%，這對於發展更安全的語言模型具有重要的意義。