采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

编辑:英智

【导读】采样多就一定准吗?研究人员用实验告诉你:是的,而且超乎想象!基于采样的搜索不仅能在并行处理中大展身手,还通过隐式扩展让验证更精准。

先让模型生成多个候选答案,再通过自我验证挑出「真金」。

基于采样的搜索在许多推理任务中表现优异,可关于它的扩展趋势,还有许多未解之谜。

随着采样数量的增加,模型的推理性能能否继续提升?这种简单的搜索范式能在多大程度上扩展?

来自谷歌和伯克利的华人研究员发现,随着采样数量和验证强度的增加,模型的推理性能有显着的提升。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

论文链接:https://arxiv.org/abs/2502.01839

增加测试时计算的方法有很多。有些是通过强化学习,隐式地鼓励模型生成更长、更详细的回答;还有些是通过巧妙的提示,让模型更准确地思考。

在众多方法中,基于采样的搜索策略显得格外突出,生成多个候选答案,再从中挑选出最佳的那个。

这种方法可以和其他策略搭配使用,还特别适合并行处理。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

通过有效的自我验证,简单地扩展基于采样的搜索就足以在推理和数学基准测试,以及伯克利数学数据集上获得最先进的性能。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

表中展示了Gemini v1.5 Pro模型在每个问题仅尝试一个解决方案(Pass@1)、尝试200个解决方案并选择最常见的最终答案(Consistency@200)以及在基于采样的搜索中尝试200个解决方案,并根据正确性评分选择得分最高的答案(Verification@200)时的准确性。

在基于采样的搜索(Verification@200)中,Gemini v1.5超越了o1-Preview。

基于采样的搜索

基于采样的搜索是怎么运作的呢?

简单来说,就是模型先通过随机采样的方式,生成一堆候选答案。

然后,模型再对这些候选答案进行自我验证,判断哪个答案最靠谱。

具体的实现过程可以分为几个关键步骤。首先是生成候选答案阶段,LLM会根据给定的问题,按照一定的温度参数(=1.5),并行生成个候选答案。

这个温度参数就像是调节模型创造力的旋钮,数值越大,生成的答案就越多样化,但也可能更偏离正确答案。

数值越小,答案就越保守,可能会错过一些有创意的解法。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

接下来是验证候选答案阶段。模型会为每个候选答案生成个二进制的验证分数,以此来判断答案的正确性。

在这个过程中,模型会把答案改写为定理、引理和证明的形式,就像我们在数学证明中那样,一步一步严谨地检查答案是否合理。

要是遇到几个候选答案得分很接近的情况,模型会把这些答案两两比较,每次比较都会重复多次(=100次),最后选出获胜次数最多的答案作为最终输出。

扩展趋势

研究人员在探索基于采样的搜索的扩展趋势时,发现了一些有趣的现象。

他们通过实验,观察随着搜索,也就是采样的数量和验证次数这两个关键因素的变化,模型的推理性能会发生什么变化。

从实验结果的热图中可以看出,当搜索和验证同时扩展时,模型的性能提升最为明显。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

在一些基准测试中,比如AIME,即使测试时计算扩展到了自一致性方法性能饱和的程度,基于采样的搜索的推理性能仍然在持续提高。

在AIME基准测试中,基于采样的搜索的扩展趋势最为显着。

随着采样数量的增加,模型就能更大概率地找到正确答案。

而且,即使一致性方法(Consistency@k )在处理这些难题时已经达到了极限,基于采样的搜索(Verification@k )仍然能通过不断扩展验证能力,挖掘出那些隐藏在长尾中的正确答案。

研究人员还发现了一个很神奇的现象:隐式扩展。

按照常规想法,采样的答案越多,验证器要处理的信息就越多,验证的准确性应该会下降。但实际情况却恰恰相反!

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

当模型生成的答案数量增加时,验证的准确性也跟着提高了。这是为什么呢?

原来,写得好的答案更容易被验证,而增加采样数量就像是扩大了答案的「海选范围」,让更多高质量的答案有机会被选出来。

在下图中,将验证尝试次数固定为50后,Verification@k的扩展超越了Consistency@k的饱和点。

在AIME基准测试里,Consistency@k趋于平稳,Verification@k却呈幂律扩展。在AIME上,Consistency@50和 Consistency@10,000准确率相同。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

2024年AIME考试第二场第11题,Gemini v1.5模型从200个随机采样解决方案中,难以选定正确答案。

Consistency返回错误答案1,且该答案在超一半的响应中出现,而Verification成功从响应分布长尾中识别出正确答案601,并对1和601分别给出了≤36%和98%的分数。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

扩展验证能力是推动搜索改进的关键,可以区分不同置信度的答案。

验证能有效利用模型响应分布长尾,表明Pass@k应是搜索应用的关键性能指标,而现有针对Pass@1优化的训练后技术(如RLHF),可能牺牲Pass@k,抑制搜索能力。

有效自我验证:提升推理的法宝

研究人员还总结出了两个提升LLM自我验证能力的重要原则。

第一个原则是对比答案以定位错误。

LLM在识别错误和幻觉方面一直不太擅长,就像一个视力不太好的人,很难发现远处的小错误。但是,如果把不同的候选答案放在一起比较,模型就能更容易地发现错误的位置。

这种比较的方法,其实也是隐式扩展的一种体现,通过提供更多的对比信息,帮助模型更好地判断答案的正确性。

第二个原则是根据输出风格适用性改写答案。不同的任务需要不同风格的答案。

在生成答案时,思维链的方式很有效,它能帮助模型理清思路,找到正确的方向。

但这种方式生成的答案往往比较冗长复杂,验证起来难度较大。

相反,严谨、分层和模块化的写作风格虽然在生成答案时可能不太灵活,但在验证时却更容易被模型理解和判断。

所以,研究人员建议在验证答案时,先把答案改写成更规范的形式,比如像数学证明一样,有定理、引理和证明过程,这样模型就能更轻松地检查答案是否正确了。

为了验证这两个原则的有效性,研究人员还进行了消融研究。他们分别去掉比较答案和改写答案这两个操作,看看会对模型的性能产生什么影响。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

结果发现,去掉比较答案的操作后,模型在一些基准测试中的性能明显下降。去掉改写答案的操作后,验证的准确性也受到了很大影响。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

这充分说明了这两个原则对于提升模型自我验证能力的重要性。

额外实验,探索更多可能

研究人员还进行了一些额外的实验,为我们揭示了更多有趣的发现。

在对较小模型的研究中,他们发现基于采样的搜索同样能为这些「小个子」模型带来显着的性能提升。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

以Gemini v1.5 Flash模型为例,它的推理成本比Gemini v1.5 Pro低很多,但通过基于采样的搜索,它的性能得到了大幅提升。

即使是用Flash模型来辅助Pro模型进行验证(Pro+Flash),也能取得不错的效果,甚至在某些情况下,Pro+Flash Verification@200的性能超过了Pro Consistency@200。

研究人员还对LiveBench基准测试中的不同子任务进行了分析。

他们发现,基于采样的搜索在不同子任务上的表现各有差异。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

在AIME 2024、Web-of-Lies、Competition和Zebra Puzzle等任务上,Verification的提升效果非常明显;但在LiveBench Math的Olympiad任务上,却没有看到明显的提升。

这是因为Olympiad任务的问题设计比较特殊,它要求填写预写证明中的表达式选项,输出特定的索引序列。

衡量模型的新验证基准

前沿LLM虽然在解决问题方面表现得很厉害,但它们的开箱即用验证能力却有点拖后腿。

为了更准确地衡量这个问题,研究人员创建了一个新的验证基准。

这个基准里包含了很多具有挑战性的推理问题,每个问题都有一个正确答案和一个错误答案。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

基准测试主要关注两个任务:评分任务和比较任务。

在评分任务中,模型要判断给定答案是否正确;在比较任务中,模型要从两个答案中找出正确的那个。

这就好比让模型当小老师,批改作业和比较不同学生的答案。

研究人员用这个基准测试了一些当前的模型,结果发现表现参差不齐。

采样越多越聪明?隐式扩展颠覆认知,采样搜索如何挑出完美解

有些模型在验证方面的表现甚至比随机猜测好不了多少,这说明它们在识别错误答案和判断答案正确性方面还有很大的提升空间。

基于采样的搜索展现出了巨大的潜力。

它不仅简单有效,而且具有很强的扩展性,能在各种推理任务中发挥重要作用。

参考资料:

https://x.com/ericzhao28/status/1901704344506192365

https://techcrunch.com/2025/03/19/researchers-say-theyve-discovered-a-new-method-of-scaling-up-ai-but-theres-reason-to-be-skeptical/

https://eric-zhao.com/blog/sampling

https://arxiv.org/abs/2502.01839

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/4927.html

(0)
科技网btna的头像科技网btna
上一篇 2025年4月21日 下午3:15
下一篇 2025年4月21日 下午3:15

相关推荐

  • 全网最全「吉卜力」AI神器总结!只要2分钟,照片秒变吉卜力

    编辑:KingHZ 【导读】不止GPT-4o可以制作吉卜力风格图像!更多工具都可以制作吉卜力风图像。甚至2分钟之内,还能用照片生成吉卜力风格动画:蒙娜丽莎给你说Hello。 创建吉卜力风格的图像,现在很流行。 甚至还可以根据图像,生成吉卜力动画:「神秘的微笑」蒙娜丽莎,都会主动和你打招呼! 但是,97%的人可能不知道如何创建它们。 作家兼AI专家Fran A…

    2025年4月18日
    4800
  • 1美元颠覆6000亿广告界,哥大辍学天才30天狂飙500万营收

    编辑:英智 【导读】当AI闯入营销界,会掀起怎样的风暴?哥大辍学天才Kennan打造的Icon,以1美元成本颠覆6000亿广告市场,30天狂揽500万美元ARR,用技术改写行业。 通过学习数千个爆火的广告,Icon在营销方面的知识,已经超越了全球最贵的营销大师Gary Vee。 Icon成绩相当亮眼,只用30天就实现了从0增长到500万美元的ARR(年度经常…

    2025年5月2日
    3800
  • 苹果提出原生多模态Scaling Law!早融合+MoE,性能飙升秘密武器

    编辑:英智 【导读】研究揭示早融合架构在低计算预算下表现更优,训练效率更高。混合专家(MoE)技术让模型动态适应不同模态,显着提升性能,堪称多模态模型的秘密武器。 如今,打造强大的多模态模型是AI领域的重要目标。 一种常用方法是把单独预训练好的模型组合起来,比如把训练好的视觉编码器连接到LLM的输入层,再进行多模态训练。 然而,单模态预训练可能会带来一些偏差…

    2025年5月5日
    3600
  • 18岁天才高中生独登顶刊,AI解锁150万新天体!斯坦福连夜发offer

    编辑:编辑部 JZYH 【导读】18岁天才高中生,利用AI竟发现了150万个隐藏天体,震惊全球。这篇独着论文已登上天文学顶刊,或将助力探索宇宙起源之谜。为此,他斩获了25万美元科学竞赛大奖,直通斯坦福。 在NASA的2000亿条数据中隐藏着150万个未知天体,而揭开它们神秘面纱的,竟是一位美国高中生! 他就是Matteo Paz,来自加州南帕萨迪纳高中的天才…

    2025年5月13日
    1600
  • 凌晨2点,再次Open!奥特曼宣布:OpenAI正式支持对手MCP协议

    编辑:编辑部 HNY 【导读】OpenAI昨夜又放大招,Agents SDK接入行业标准MCP,下一步加持ChatGPT桌面版,要彻底颠覆每个人AI工作流。 自从昨天OpenAI将GPT-4o的原生图像生成同步开放给免费用户后,今天他们又Open了一把。 就在刚刚,OpenAI对其Agents SDK进行了重大更新,支持了对手Anthropic推出的MCP服…

    2025年4月25日
    5300

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信