模型答錯，可能是壓根沒看清：Kimi給AI做了套視力表
BiRun 訊，月之闇面發布 PerceptionBench，專門檢査多模態模型到底有沒有看清圖片。
現有評測經常把視覺、知識和推理混在一起。模型答錯後，很難判斷它是看錯了，還是想錯了。
PerceptionBench 先收集前沿模型在 42 個基準中的失敗案例，再從錯誤中反推出計數、定位、文字識別、空間判斷等 10 項基礎視覺能力。
團隊據此製作了 3000 道題。每道題只測一項能力，看圖就能回答，不需要推理，也不需要外部知識。
項目代碼和數據集已經開放。
PerceptionBench
現有評測經常把視覺、知識和推理混在一起。模型答錯後，很難判斷它是看錯了，還是想錯了。
PerceptionBench 先收集前沿模型在 42 個基準中的失敗案例，再從錯誤中反推出計數、定位、文字識別、空間判斷等 10 項基礎視覺能力。
團隊據此製作了 3000 道題。每道題只測一項能力，看圖就能回答，不需要推理，也不需要外部知識。
項目代碼和數據集已經開放。
PerceptionBench
評論
0/500
登彔 後參與討論
免責聲明：本文內容僅供參考，不構成任何投資建議。
更多快訊