重要 基礎設施轉向：Agentic Traffic 為何打破批量推理

BiRun 消息，過去兩年，AI 基礎設施世界一直癡迷於吞吐量，簡單地將大型語言模型（LLMs）噹作高性能批處理器，優化每秒可處理的令牌數量，但隨着從簡單聊天機器人向更復雜應用的轉變，Agentic Traffic 正在打破批量推理。