Perplexity开源新检索模型:0.6B小模型能直接查9B建立的索引

BiRun 讯,Perplexity 开源两款多模态 embedding 模型 pplx-embed-v2-late,分别为 0.6B 和 9B。两款模型的向量互相兼容,开发者可以用 9B 大模型建立资料库,再用 0.6B 小模型处理日常搜索,不必每次查询都运行大模型。

新模型还支持文字、图片和 PDF 页面检索。普通 embedding 模型通常把一段内容压缩成一个向量,容易丢失细节。新模型为每个 token 保留一个 128 维向量,让搜索词分别匹配文档中的相关内容。处理 PDF、PPT 和扫描件时,可以直接把页面图像转换成向量,无需先用 OCR 提取文字,也能保留图表、表格和排版信息。

两款模型由同一个 18B 教师模型训练而来,共用一套向量空间。官方在 ViDoRe v3 图片检索测试中发现,用 0.6B 模型建库和查询,得分为 62.3%;改用 9B 建库、0.6B 查询,得分提高到 63.5%。完全使用 9B 模型的得分则为 65.2%。

两款模型权重已在 Hugging Face 按 MIT 协议开放。

信源

动察 Beating 频道 · 动察 Beating 交流群。
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯