Claude Code長對話首Token等待縮短35%,請求數據減少99.8%
BiRun 訊,Anthropic 在 Messages API 上綫 Message Threads(消息綫程)公測,減少 AI Agent 反復上傳對話歷史的開銷。
過去,Coding Agent 每次調用 Claude,都要重新發送之前的消息和工具執行結果。現在只需首次上傳完整對話,後續每輪發送新消息和上一輪回復 ID。服務器會臨時保存歷史記彔,省去重復傳輸、校驗和分詞的時間。
這項功能已在 Claude Code 中默認啓用。Anthropic 披露,在 50 萬至 100 萬 Token 的請求中,首 Token 等待時間中位數降低約 35%。長對話的單次請求體積中位數從約 800KB 縮至 1.8KB,減少約 99.8%。
不過,模型仍需處理完整上下文,Token 用量和費用不變。服務器保存的消息綫程也會在閑置 5 分鐘後過期,屆時需要重新上傳歷史記彔。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
過去,Coding Agent 每次調用 Claude,都要重新發送之前的消息和工具執行結果。現在只需首次上傳完整對話,後續每輪發送新消息和上一輪回復 ID。服務器會臨時保存歷史記彔,省去重復傳輸、校驗和分詞的時間。
這項功能已在 Claude Code 中默認啓用。Anthropic 披露,在 50 萬至 100 萬 Token 的請求中,首 Token 等待時間中位數降低約 35%。長對話的單次請求體積中位數從約 800KB 縮至 1.8KB,減少約 99.8%。
不過,模型仍需處理完整上下文,Token 用量和費用不變。服務器保存的消息綫程也會在閑置 5 分鐘後過期,屆時需要重新上傳歷史記彔。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊