异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

编辑:犀牛 英智

【导读】悬疑小说的最后一页,隐藏着罪犯的真相。《逆转裁判》的法庭上,真凶在谎言中露出破绽。UCSD研究团队以这款经典游戏为舞台,o1、Gemini 2.5 Pro等模型化身「侦探」,测试AI的推理极限。

当谈到AI为何能从「预测下一个词」中诞生智慧时,Ilya Sutskever曾用一个生动的比喻来解释。

想象你在读一本悬疑小说,如果仅凭前面的线索就能在最后一页推断出罪犯是谁,那么你对这个故事的理解无疑是深刻的。

同样,AI通过学习海量文本,掌握了从字面到语义的「线索」,展现出惊人的智能。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

受此启发,UCSD的华人研究者用游戏《逆转裁判》(Ace Attorney)测试AI的推理能力。

《逆转裁判》以错综复杂的故事情节和扣人心弦的法庭对决着称。

这款游戏堪称测试模型的完美舞台:AI化身侦探,收集线索、揭露矛盾,最终挖掘真相。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

研究者让当前最顶尖的AI模型(GPT-4.1、Gemini 2.5 Pro、Llama-4 Maverick等)在《逆转裁判》中接受考验,看它们能否喊出「反对!」,扭转案情,揭开谎言背后的真相。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

和侦小说一样,模型玩家得把线索、证据串起来,揭露证词中的矛盾,抓住真凶。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

测试中,AI模型要参与紧张的法庭盘问环节。它要敏锐地找出证词中的漏洞,拿出正确的证据进行反驳。每个关卡有5次机会,犯错空间有限。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

团队测试了多款顶尖的AI多模态模型,包括o1、Gemini 2.5 Pro、Claude 3.7-thinking和Llama-4 Maverick。

结果显示,o1和Gemini 2.5 Pro表现最佳,均晋级第4关。虽然未能通关,但o1在应对最复杂案件时,略胜Gemini 2.5 Pro一筹。

GPT-4.1与Claude 3.5表现相当。尽管GPT-4.1据称比GPT-4o有所提升,但这次测试中的表现与其持平。

Llama-4 Maverick一次没对,零分垫底!

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

为什么它很难?

《逆转裁判》游戏对AI模型十分困难,主要是因为模型需要有以下能力:

  • 长文本推理:需要比对之前的对话和证据,发现证词中的矛盾点。

  • 视觉理解:准确识别能反驳虚假陈述的图片。

  • 策略决策(游戏设计):动态变化的案件中,决定何时追问、出示证据或暂不行动。不仅要给出答案,还要在正确时机采取行动。

游戏设计要求AI把理解转化为有情境依据的行动,让它不只局限于处理文本或视觉任务。

因为AI需要推理情境化的行动空间,而非简单死记硬背,所以更不容易出现过拟合。

性价比哪家强

Gemini 2.5 Pro重新定义了性价比。

在性能相当的情况下,Gemini 2.5 Pro比o1-2024-12-17便宜6-15倍,甚至比GPT-4.1还便宜一点。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

通过第1关的模型成本对比中,o1的API调用次数最少,总成本却是最高的。

调用次数体现的是策略,而非推理能力。因为深入挖掘证词,自然会触发更多请求。

进入更高关卡后,随着对话篇幅增加,o1的成本激增。

在第2关(一个很长的案例)中,o1的成本超过$45.75,而Gemini 2.5 Pro仅需$7.89,差距惊人!

注意:

  • Gemini 2.5 Pro使用内置token计数方法,将所有图片都按258个token计算,因此实际成本可能略高。

  • o1隐藏推理内容存在不确定性,其输出成本也可能被低估了。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

目前团队已将项目开源,可以在里面查看如何设置游戏和LLM。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

项目地址:https://github.com/lmgame-org/GamingAgent

除此之外,项目中还有更多经典游戏能测试AI模型的性能。

推箱子游戏

推箱子(Sokoban)是一款经典的单人游戏,以深邃的策略性着称。

推箱子的玩法简单直观,但挑战性极高。

玩家在一个由方格组成的迷宫中操作角色,通过逻辑思考和规划,将箱子推到目标位置。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

2048游戏

这是一款数字益智游戏,玩家通过滑动方块合并相同数字,最终目标是合成2048方块。

策略上,应该优先保持最大数字在角落,规划滑动方向以避免方块堆积,灵活调整以应对随机出现的数字。

下图可以看出,Claude 3.7 玩起2048来还是挺丝滑的,能持续玩很多步。相比之下,GPT 4o不知道为什么,玩上几步就开始卡上了。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

俄罗斯方块

俄罗斯方块是一款风靡全球的经典游戏。

玩家需通过移动和旋转方块,拼凑完整横行以消除得分,尽可能延长游戏时间或获得高分。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

此外,还有超级马里奥、糖果粉碎传奇等多款游戏。

异议!顶流AI决战「逆转裁判」:o1险胜Gemini 2.5登顶、Llama 4零分垫底

参考资料:

https://x.com/haoailab/status/1912231343372812508

https://huggingface.co/spaces/lmgame/game_arena_bench

https://lmgame.org/

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/4317.html

(0)
科技网btna的头像科技网btna
上一篇 2025年4月18日 上午9:51
下一篇 2025年4月18日 上午9:51

相关推荐

  • 杀疯了!Gemini 2.5狂飙「高尔顿板」测试,编码横扫所有OpenAI模型

    编辑:犀牛 【导读】谷歌的AI编码能力正在掀起一场风暴!在高尔顿板测试中,Gemini 2.5 Flash以惊艳表现击败OpenAI多款模型,连谷歌首席科学家Jeff Dean都为其点赞。谷歌新模型「dayhush」已在网页开发领域崭露头角,性能超越Gemini 2.5 Pro,被网友称为「AI编码的地震性突破」。 编码能力一直是顶尖模型宣传的重点。 尤其是…

    2025年4月21日
    10900
  • 黄仁勋放话:英伟达全员拥抱智能体!

    编辑:英智 KingHZ 【导读】软件开发的未来已来!每位工程师都将配备AI智能体,它们将嵌入日常开发,优化代码、发现漏洞、加速原型设计。黄仁勋认为,未来每个人都将指挥多个AI助手,生产力呈指数级增长。 黄仁勋放话:英伟达将全员配AI助手! 这可不是随便画个大饼,而是英伟达正在大刀阔斧搞的变革,这趋势可能席卷整个科技圈。 Meta的小扎、微软CEO纳德拉、A…

    2025年5月11日
    3100
  • 全球开发者组团训练,首个异步强化学习32B推理模型震撼来袭!数据已开源

    编辑:英智 好困 【导读】全球首个去中心化强化学习训练的32B模型震撼发布!无需授权,就能用自家异构计算资源参与其中,让编码、数学与科学领域的推理性能迈向新高度。 最近,全球第一个用去中心化强化学习训练的32B模型——INTELLECT-2正式发布! 任何人都能用自己的异构计算资源参与,无需授权。 这种全新的范式,让去中心化训练在编码、数学和科学领域,迈向前…

    2025年4月26日
    9100
  • 凌晨2点,再次Open!奥特曼宣布:OpenAI正式支持对手MCP协议

    编辑:编辑部 HNY 【导读】OpenAI昨夜又放大招,Agents SDK接入行业标准MCP,下一步加持ChatGPT桌面版,要彻底颠覆每个人AI工作流。 自从昨天OpenAI将GPT-4o的原生图像生成同步开放给免费用户后,今天他们又Open了一把。 就在刚刚,OpenAI对其Agents SDK进行了重大更新,支持了对手Anthropic推出的MCP服…

    2025年4月25日
    7700
  • 何恺明ResNet登顶,Transformer加冕!Nature独家揭秘25篇高被引论文

    编辑:桃子 【导读】21世纪最具影响力的25篇论文中,AI论文竟然独占鳌头!从席卷全球的ResNet到奠定ChatGPT基础的Transformer架构,Nature独家揭秘全球高被引论文。 21世纪第一个25年,AI领域被引最高25篇论文都有哪些? 近日,Nature头版独家文章,揭秘了不同科学领域最具影响力的论文。 然而,令人意外的是,那些广为人知的科学…

    2025年4月18日
    7900

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信