7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

编辑:LRST 好困

【导读】通过蒙特卡洛树搜索筛选高难度样本,ThinkLite-VL仅用少量数据就能显着提升视觉语言模型的推理能力,无需知识蒸馏,为高效训练提供了新思路。

在大模型时代,视觉语言模型(Vision-Language Models, VLMs)正在从感知走向推理。在诸如图像问答、图表理解、科学推理等任务中,VLM不再只需要「看见」和「描述」,而是要能「看懂」和「想清楚」。

然而,当前主流的推理能力提升方法普遍存在两个问题:

1.训练样本质量参差不齐:常见的数据集虽然体量庞大,但真正「有挑战性」的样本比例较低。

2.过度依赖知识蒸馏:许多模型在训练时依赖大型模型(如GPT-4o)的推理过程作为教师信号,使得训练流程复杂且难以推广。

这使得训练一个高性能的VLM成本极高,也限制了模型的自主学习能力。

能否通过自我提升,训练出高性能的推理模型?

近日,来自马里兰大学,密歇根大学,和微软的团队联合提出了ThinkLite-VL模型试图打破这种依赖,探索「数据更少、能力更强」的可能性。

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

论文链接:https://arxiv.org/pdf/2504.07934

GitHub项目主页:https://github.com/si0wang/ThinkLite-VL

Hugging Face主页:https://huggingface.co/russwang/ThinkLite-VL-7B

论文主要关注一个核心问题:如果不给VLM额外的「教师指导」(如知识蒸馏),能否仅通过自身的反馈机制和强化学习训练,获得强大的推理能力?

直觉上,答案是肯定的:人类也可以通过不断尝试、失败和总结来提升自己的推理能力。但对模型而言,这需要我们解决一个关键挑战——如何准确判断哪些训练样本是「值得学」的?

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

用MCTS判断「样本难度」,筛选高质量训练集

ThinkLite-VL的最大创新在于:用蒙特卡洛树搜索(Monte Carlo Tree Search, MCTS)来重新定义「样本难度」。

研究人员首先从广泛使用的开源多模态训练数据集中收集了70k的样本,涵盖了三个关键的视觉任务:数学推理,自然图像理解和图表理解,具体的数据分布和来源如下表所示。

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

值得注意的是,为了避免大模型在回答过程中因为选择题选项中提供了正确答案而「蒙对」,研究人员将大部分的样本从选择题格式改成了开放问答格式,这样一来模型就必须依靠自身的推理能力真正理解题目并解决问题,真正的把题做对。

之后,研究人员提出了一种基于蒙特卡洛树搜索(MCTS)的样本选择方式。

具体来说,大模型将问题和图像作为输入,让模型通过蒙特卡洛树搜索进行一步步推理,然后记录模型需要通过多少次推理迭代才能得到正确答案。模型所需要的MCTS迭代次数越多,说明模型需要通过更多的探索和思考才能解决问题,表明该问题对于模型来说更难。

整个过程中,只使用了VLM本身的LLM部分判断MCTS final answer的正确与否,模型通过解题成功的探索次数认识到哪些题是「难题」,并将其作为学习重点。

在对所有的样本都进行MCTS之后,作者最终筛选出迭代次数大于5或在50次迭代内模型都无法解决的样本,总共11k,作为最终的训练集。

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

强化学习训练:少样本+困难样本,推理效果更强

研究人员基于Qwen2.5-VL-7B-Instruct,在选出的11k样本上使用GRPO进行了强化学习训练,得到了最终的模型 ThinkLite-VL-7B。相比于其他reasoning model来说,ThinkLite-VL-7B大大减少了训练数据量,并且没有蒸馏任何外部推理模型的知识。

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

在八个主流视觉推理任务上进行测试,包括MathVista, MathVerse, MathVision,MMMU,MMStar, MMVet, MMBench和AI2D, 结果发现ThinkLite-VL-7B的平均性能相比base model Qwen2.5-VL-7B-Instruct提升了7%,从59.69 提高到 63.89,并且显着优于使用随机采样选择相同大小数据量进行强化学习训练的模型。

此外,相比7B级别的其他reasoning VLM,ThinkLite-VL-7B同样具有明显优势,包括OpenVLThinker-7B,MM-Eureka-Qwen-7B等。

特别地,在MathVista上ThinkLite-VL-7B达到了75.1的SoTA准确率,超过了GPT-4o和o1等闭源模型和Qwen2.5-VL-72B等开源更大参数量的模型。

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

这意味着,即使在没有额外监督、没有知识蒸馏、没有大规模数据的前提下,只需要正确选择少量对于VLM具有挑战性的高质量样本,VLM也能通过self-improve显着提升推理能力。

研究人员进一步对不同难度组合的训练集进行了消融分析,发现:

  1. 仅用最难的样本(无法解出)可以提升能力,但效果不及中等+困难样本的组合;

  2. 简单样本虽然在训练过程中快速提升reward,但对最终推理能力提升作用有限;

  3. 使用中等难度加上困难样本的组合才能最大程度提升模型的推理能力,即使模型在训练中无法解决全部的样本。

这一发现对未来的模型训练有重要启示:合理的样本难度分布比样本数量更关键。

论文一作王玺尧是马里兰大学计算机系三年级phd,导师为Furong Huang教授,主要研究方向为强化学习在大语言模型和视觉语言模型训练中的应用,在ICML, NeurIPS, ICLR, ACL, EMNLP, NAACL, CVPR等会议上发表过多篇论文。

7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

参考资料:

https://arxiv.org/pdf/2504.07934

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/5974.html

(0)
科技网btna的头像科技网btna
上一篇 2025年4月27日 下午3:09
下一篇 2025年4月27日 下午3:09

相关推荐

  • 98%财务顾问依赖AI,揭秘7家先锋企业如何解锁商业新格局

    编辑:英智 【导读】摩根士丹利的案例表明,企业应用AI离不开快速试错与优化。AI通过分析海量数据打造个性化体验,Indeed的职位推荐和Lowe’s搜索优化证明了数据与AI结合的巨大潜力。 AI正以前所未有的速度,重塑企业运营和竞争格局。 从金融服务到电商零售,从求职招聘到家装购物,AI带来了巨大的变革潜力。 OpenAI最新发布的报告,深入剖析了7家前沿公…

    2025年5月8日
    2100
  • o3全网震撼实测:AGI真来了?最强氛围编程秒杀人类,却被曝捏造事实

    编辑:编辑部 ZJN 【导读】OpenAI新模型全网实测惊艳来袭!o3缩放图像被玩疯,o4-mini速解Project Euler,碾压人类。AI初创CEO说,OpenAI凭此一役已经重回榜首,甚至有经济学家直言AGI已经来临! 昨夜o3的发布,让人不尽感慨:打了这么久嘴炮的OpenAI,这回终于实实在在拿出了点真东西。 史上首次,模型能够用图像思考,视觉推…

    2025年4月18日
    4000
  • 刚刚,ICML 2025录用结果公布!好评论文惨遭拒,审稿人敷衍引全网怒喷

    编辑:桃子 【导读】ICML 2025录用结果新鲜出炉!今年共有3,260篇论文被录用,录用率26.9%。然而,这届评审质量再掀热议,审稿人敷衍参评各种乌龙被曝出。 ICML 2025录用结果,终于公布了! 今年,顶会共提交了12107篇有效投稿(不包括「桌拒」论文)。其中,3260篇论文被接收,录用率为26.9%。 值得一提的是,ICML总投稿数量每年激增…

    2025年5月2日
    4300
  • 新·摩尔定律诞生:AI智能体能力每4个月翻一番!智能爆炸在即

    编辑:英智 犀牛 【导读】AI编程智能体的能力正在飞速增长,最新研究揭示了这一「新摩尔定律」,如果AI智能体的任务时长继续以每4个月翻倍的速度增长,到2027年它们可能完成长达167小时的月级任务! 编程智能体能完成的任务量,正以爆炸式的速度增长! 而且,这一趋势还在加速。 2024到2025年,它们的任务处理能力每4个月翻一倍;而在2019到2025年,这…

    2025年4月30日
    5500
  • 多模态检索大升级!智源三大SOTA模型,代码、图文理解能力拉满

    编辑:Aeneas 犀牛 【导读】就在刚刚,智源研究员联合多所高校开放三款向量模型,以大优势登顶多项测试基准。其中,BGE-Code-v1直接击穿代码检索天花板,百万行级代码库再也不用怕了! 检索增强技术在代码及多模态场景中的发挥着重要作用,而向量模型是检索增强体系中的重要组成部分。 针对这一需求,近日,智源研究院联合多所高校研发了三款向量模型,包括代码向量…

    2025年5月20日
    1100

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信