Parallel實測8款決策模型：Jev起步領先，OpenAI靠改Prompt大幅追近

BiRun 訊，AI 蒐索公司 Parallel 用自身蒐索業務中的眞實案例，測試了 Jev、Perplexity、OpenAI Decisions 等 8 款決策模型。

測試包括 4 項任務：判斷網頁變化是否重要、過濾低質內容、選擇蒐索索引，以及給蒐索結果排序。直接使用初始提示詞時，Jev 在四項任務中的平均排名第一，Perplexity 第二，OpenAI 第五。

其中，最難的是判斷網頁變化是否值得重新處理。比如招聘信息只是調整了兩條要求的順序，可能不需要更新；排行榜名次發生變化，卻值得重新抓取。測試採用綜閤衡量誤報和漏報的指標，分數越高越好。Perplexity 最初得到 93.3 分，Jev 為 87.9 分，OpenAI 只有 79.0 分。

團隊隨後讓 Claude 幫各個模型改進提示詞。以網頁變化識別為例，先準備 800 條人工標注的案例，讓 Claude 檢査模型的錯誤判斷，再針對容易出錯的情況補充規則。連續嘗試 5 輪，每輪只保留成績更好的版本。最終在獨立測試集上，OpenAI 從 79.0 提高到 88.8，Rune 26B 從 74.1 昇至 83.9，Nimble 9B 從 65.1 昇至 75.3。三款模型都提高了約 10 分。

把網頁變化識別、低質內容過濾和査詢路由這三項任務閤在一起計算平均分，Perplexity 從 97.3 昇至 97.6，Jev 從 95.5 昇至 96.5，OpenAI 則從 88.7 大幅提高到 95.1。8 款模型的平均分全部提高，但原本領先的模型進步有限，OpenAI 明顯縮小了差距，優化後排在第三。

剩下的蒐索排序任務單獨計算。優化提示詞後，Jev 排在前列的蒐索結果與人工標注結果重閤率達到 71.45%，Perplexity 為 70.68%。但 Parall…

信源

動察 Beating 頻道 · 動察 Beating 交流羣。