TypeSafe AI与 OpenRouter 推出 Jev 智能路由器提升 LLM 调用效率
据PANews发布,PANews 9月26日消息,TypeSafe AI在X上最新发帖称,OpenRouter 已集成 Jev 路由能力至全部 LLM 调用,通过 typesafe/jev-router 在每次请求时动态选择最优模型与推理强度,实现“cache-aware”的模型路由,以平衡质量、速度与成本。该路由器可根据上下文命中缓存,避免重复计算,减少无效 token 消耗,优化复杂 agent 工作流性能。部分开发者称,其在大规模真实样本评分任务中实现了近乎100%准确率,但也反映随着使用激增,响应时延有所上升。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯