多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

编辑:Aeneas 犀牛

【导读】就在刚刚,智源研究员联合多所高校开放三款向量模型,以大优势登顶多项测试基准。其中,BGE-Code-v1直接击穿代码检索天花板,百万行级代码库再也不用怕了!

检索增强技术在代码及多模态场景中的发挥着重要作用,而向量模型是检索增强体系中的重要组成部分。

针对这一需求,近日,智源研究院联合多所高校研发了三款向量模型,包括代码向量模型BGE-Code-v1,多模态向量模型BGE-VL-v1.5以及视觉化文档向量模型BGE-VL-Screenshot

这些模型取得了代码及多模态检索的最佳效果,并以较大优势登顶CoIR、Code-RAG、MMEB、MVRB等领域内主要测试基准。

BGE自2023年8月发布以来,已成为中国首个登顶Hugging Face榜首的国产AI模型以及2023年所有发布模型的全球下载量冠军。

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

目前,BGE-Code-v1、BGE-VL-v1.5、BGE-VL-Screenshot三款模型已向社区全面开放,为相关技术研究与产业应用提供助力。

  • BGE-Code-v1:

模型地址:https://huggingface.co/BAAI/bge-code-v1

项目主页:https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_Coder

论文链接:https://arxiv.org/abs/2505.12697

  • BGE-VL-v1.5:

模型地址:https://huggingface.co/BAAI/BGE-VL-v1.5-zs

项目主页:https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_VL

论文链接:https://arxiv.org/abs/2412.14475

  • BGE-VL-Screenshot:

模型地址:https://huggingface.co/BAAI/BGE-VL-Screenshot

项目主页:https://github.com/FlagOpen/FlagEmbedding/tree/master/research/BGE_VL_Screenshot

论文链接:https://arxiv.org/abs/2502.11431

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

由智源研究院主导研发的通用向量模型系列BGE,旨在为各类数据提供高效一站式向量表征与语义检索方案,已推出覆盖中英文、多语言检索及重排模型等多个版本,持续刷新MTEB、C-MTEB、BEIR、MIRACL等主流文本向量评测基准。

BGE凭借高性能与开源特性备受业界关注,已广泛应用于RAG、神经搜索等场景,累计下载超6亿次,被国内外多家AI企业集成。

目前,检索增强技术正从传统的文本场景逐步拓展至涵盖代码与视觉等多模态数据的应用。

然而,相较于文本领域,现有向量模型在代码和视觉模态中的检索效果仍有待提升。

此次智源研究院发布的三款新模型,为构建更强大的多模态检索增强系统提供了有力的支持。

BGE-Code-v1

新一代代码优化语义向量模型

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

随着基础模型代码能力快速发展,Cursor、Copilot等辅助编程工具大幅提升生产力。

在面对百万行级代码库时,代码块检索增强需求凸显,因此检索模型的代码理解能力至关重要。

BGE-Code-v1是以Qwen2.5-Coder-1.5B为基座打造的新一代代码向量模型,专为各类代码检索相关任务而设计,同时配备了强大的多语言文本理解能力。

模型基于CoIR训练集和大量高质量代码-文本的合成数据进行训练,并使用课程学习,以BGE-gemma2-multilingual 的retrieval、STS数据为辅助,进一步提升代码与文本的理解能力。

BGE-Code-v1适用于开发文档搜索、代码库语义检索、跨语言信息获取等多种实际应用场景,是面向代码-文本检索任务的最优选择。

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

CoIR代码检索基准,收集了覆盖14种编程语言的4大类8个子任务,能够有效地评估模型在自然语言和代码的各类混合场景中的检索能力。

CodeRAG-Bench基准评估了代码检索模型在代码检索增强(RACG)中的表现。

BGE-Code-v1在两个基准上均以显着优势超越谷歌、Voyage AI、Salesforce、Jina等商业/开源模型,登顶SOTA。

BGE-VL-v1.5

通用多模态检索模型

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

BGE-VL-v1.5 完成多模态检索任务

BGE-VL-v1.5是基于LLaVA-1.6(7.57B参数)训练的新一代通用多模态检索模型,全面升级了图文理解能力并具有更强大的检索能力。

BGE-VL-v1.5在MagePairs 300万 (3M) 图文对齐数据基础上又收集了共100万条自然与合成数据(涵盖image-captioning数据、视觉问答数据、分类任务数据)进行多任务训练,显着地提升了模型在各类任务上的泛化性与理解能力。

基于MegaPairs数据,BGE-VL-v1.5在多模态检索任务中性能优势显着,不仅在图像检索中表现强劲,更在通用多模态场景中展现高适应性与准确率,适用于图文匹配、多模态问答、跨模态推荐等场景。

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

MMEB是当前使用最广泛的多模态向量基准,由:分类、视觉问答、检索、视觉基础知识,四类任务构成。

基于zero-shot设置(未使用MMEB训练集),BGE-VL-v1.5-zs在MMEB基准中刷新zero-shot模型最佳表现;在检索任务上,基于MMEB微调的BGE-VL-v1.5-MMEB以72.16分登顶SOTA。

BGE-VL-Screenshot

实用强大的视觉化文档向量模型

实际场景中网页、文档等多模态任务常由图文、符号、图表等多元素混合数据构成,这类任务称为「可视化信息检索」(Vis-IR),因此,多模态模型不仅需要具备从复杂结构中提取关键信息的视觉能力,还需精准理解文本与视觉语义。

目前,现有检索模型在此类任务中表现欠佳。

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

BGE-VL-Sc基于截图与文本检索

BGE-VL-Screenshot模型基于Qwen2.5-VL-3B-Instruct,以新闻、商品、论文、文档、项目主页等七类数据源进行训练,收集超过1300万张截图和700万组标注截图问答样本。

为了准确评估模型在Vis-IR任务上的表现,团队设计并推出了多模态检索基准MVRB(Massive Visualized IR Benchmark,涵盖截图检索、复合截图检索、截图QA和开放分类4项任务共20个数据集。

MVRB榜单链接:https://huggingface.co/spaces/BAAI/MVRB_leaderboard)

多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

BGE-VL-Screenshot在4项任务中表现出色,以60.61的综合得分达到SOTA

在此基础上,通过少量query2screenshot多语言数据训练,模型实现了在英文之外的多语言任务上的出色表现。

智源研究院将继续深耕向量模型与检索增强技术,进一步提升BGE模型系列的能力与通用性。

未来期待与更多科研机构与产业伙伴合作,共同推动检索与人工智能发展。欢迎广大研究者与开发者关注并使用 BGE 系列模型,共建开放繁荣的开源生态。

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/8663.html

(0)
科技网btna的头像科技网btna
上一篇 2025年5月19日 下午3:24
下一篇 2025年5月24日

相关推荐

  • 1美元颠覆6000亿广告界,哥大辍学天才30天狂飙500万营收

    编辑:英智 【导读】当AI闯入营销界,会掀起怎样的风暴?哥大辍学天才Kennan打造的Icon,以1美元成本颠覆6000亿广告市场,30天狂揽500万美元ARR,用技术改写行业。 通过学习数千个爆火的广告,Icon在营销方面的知识,已经超越了全球最贵的营销大师Gary Vee。 Icon成绩相当亮眼,只用30天就实现了从0增长到500万美元的ARR(年度经常…

    2025年5月2日
    7000
  • 国产大模型「五强争霸」,决战AGI!

    编辑:编辑部 HYZ 【导读】中国基础大模型市场,彻底变天了!如今牌桌上的玩家已经变成了「基模五强」——字节、阿里、阶跃星辰、智谱和DeepSeek。接下来的巅峰之战,关键制胜点又会在哪里? DeepSeek的横空出世,已经彻底改变了全球的AI局势。 从此,不仅中美大模型竞争格局改变,国产大模型的产业版图,也被一举打破! 纵观中国基础大模型的市场,可以看到,…

    2025年5月12日
    10500
  • 全球首个AI科学家天团出道!007做实验碾压人类博士,生化环材圈巨震

    编辑:Aeneas KingHZ 【导读】世界首个公开可用AI科学家天团,刚刚组团出道!FutureHouse发布了四个AI科学家Agent,科研能力直接超越o3,文献搜索已经超过人类博士。 就在刚刚,世界上首个公开可用的AI科学家登场了! 前谷歌CEO Eric Schmidt投资的一家非营利组织FutureHouse,官宣发布四个超人类的AI科学家智能体…

    2025年5月2日
    5200
  • 2万人大裁员!AI掉队、工厂暂停扩张,英特尔复兴之路注定艰难

    编辑:犀牛 【导读】英特尔再次掀起裁员风暴!计划裁员超20%,这是新任CEO陈立武上任后的首次重大重组。面对AI领域落后英伟达、连续三年营收下滑的困境,英特尔试图通过精简管理、重塑工程文化来扭转颓势。 英特尔再次开启大裁员! 据彭博社报道,英特尔本周将宣布裁员超20%! 一下子裁掉2万多人。 这不是英特尔近年来的首次裁员了。 根据他们去年8月公布的裁员计划,…

    2025年4月24日
    10300
  • 苹果可放心研发无接口iPhone 欧盟放话:不会限制

    3月20日消息,iPhone 17 Air将是苹果史上最薄的手机,苹果记者Mark Gurman称,苹果曾考虑在iPhone 17 Air上去掉充电接口,但最终放弃了这一想法,原因是苹果担心被欧盟处罚。 对于这种想法,欧盟委员会相关人员回应称“不会限制无接口设备的推出”。这意味着未来苹果推出仅支持MagSafe充电的无端口iPhone,该设备在欧盟国家的销售…

    2025年3月20日
    77700

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信