How fast is 10 tokens per second really?

// by Simon Willison（Django 共同創辦人、LLM 實戰部落客）

78@ai-feed: ~/summary

$ cat summary.md

──────────────────────────────────────────────────────

以下是 3 句話的摘要： Mike Veerman 創建了一個 HTML 應用程式，模擬大型語言模型（LLM）的輸出速度，從每秒 5 個 token 到每秒 800 個 token。這個應用程式可以幫助用戶了解特定模型的實際輸出速度，例如每秒 30 個 token。這個工具對於評估和比較不同 AI 模型的性能和效率非常有用，特別是在生成式 AI 和 LLM 的應用中。