jina-reranker-m0: @JinaAI_ 最新的多模态搜索解决方案，通过两阶段检索，统一评分，提升召回率，解决方案多模态搜索中的核心问题——模态差距（modality gap） 问题：多模态搜索的挑战 · 模态差距：在像 jina-clip-v2 这样的 CLIP 模型中，文本和图像的相似度分数分布在不同范围（例如文本0.2-0.8，图像0.4-0.6），导致无法直接比较哪个文档（包含文本和图像）更相关 · 传统方法失效： · 直接取最高分：文本分数通常高于图像，偏向文本搜索 · 平均分数：没有意义，因为分数量纲不同 · 固定权重或归一化：仍然无法解决模态间的本质差异 · 实际案例：在 EDIS 数据集（包含100万图像-文本对）中，查询“网球选手庆祝胜利”时，文本搜索和图像搜索的结果难以统一排序。例如，文本匹配度高的文档可能图像不相关，反之亦然 解决方案：两阶段检索与 jina-reranker-m0 Jina AI 提出了一种两阶段检索方法： 1. 第一阶段：初始检索 · 使用 jina-clip-v2 分别基于文本和图像检索候选文档（例如各取16个） · 此时不比较文本和图像分数，只收集候选 2. 第二阶段：统一重排序 · 使用 jina-reranker-m0 对候选文档（文本+图像整体）进行重排序 · jina-reranker-m0 通过统一的评分机制，生成单一相关性分数，解决模态差距问题 实验结果 · 在 EDIS 数据集上，结合文本和图像检索并用 jina-reranker-m0 重排序，召回率（recall@10）从14.55（仅文本）或22.38（仅图像）提升到36.24，增幅达62% · jina-reranker-m0 能更准确地将真实相关文档（ground truth）排在首位，无论是文本还是图像查询 结论 · 核心优势：jina-reranker-m0 通过统一评分，模拟人类综合考虑文本和图像的判断方式，显著提升多模态搜索的准确性 · 适用性：这种两阶段架构（广泛检索+智能重排序）适用于任何多模态 AI 系统，强调单一模态方法的局限性 · 使用方式：jina-reranker-m0 可通过 Jina AI API 或 AWS、GCP、Azure 等平台使用 关键点 · 问题：文本和图像相似度分数不可比，导致多模态搜索失效 · 解决：jina-reranker-m0 通过两阶段检索，统一评分，显著提升召回率 · 意义：为多模态搜索提供实用解决方案，适用于新闻、体育等领域的复杂场景 在线 编程严选网
