What happened after 2,000 people tried to hack my AI assistant

// by Simon Willison（Django 共同創辦人、LLM 實戰部落客）

176@ai-feed: ~/summary

$ cat summary.md

──────────────────────────────────────────────────────

以下是 3 句話摘要技術文章的重點放在技術內容和實際應用： Fernando Irarrázaval 進行了一個實驗，讓 2,000 人嘗試入侵他的 AI 助手，結果在 6,000 次嘗試後，沒有人能夠成功入侵。實驗使用的模型是 Opus 4.6，並設定了防止提示注入攻擊的規則，例如不允許透露機密資訊、修改檔案或執行命令。這個實驗結果顯示，目前的 AI 模型在防止提示注入攻擊方面已經有所進步，但仍然需要謹慎部署生產系統，以避免可能的安全風險。