新华视点:大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑

智趣 | 2024-11-03| 19

大家好,今天小编来为大家解答【大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑】这个问题,很多人还不知道,现在让我们一起来看看吧!

一群大模型玩你画我猜,人类一旁围观超起劲儿。

就像下面这张图展示的,由Grok画长颈鹿,一堆大模型根据生成内容猜答案。参赛选手包括GPT-4o、Claude、Llama、Gemini、Grok等。

其实这是最近爆火的一种新的测试基准(doge)。

游戏结果一定程度上能反映出大模型能力,比如这组测试一共进行了6局游戏,表现最好的是Claude:它赢了3次!

GPT-4o表现有点抽象。就它画的这龙卷风,人类也看不懂。

不止如此,在很多轮游戏中,其他模型都在认认真真地答题,而它的第一个回答经常是Circle??有点子抽象。

所以有人就说,这游戏可以当测试基准来用啊。

还有人表示,AI照这个速度发展,人类就只能当围观的瓦力了。

来看看更多有趣的例子

在比较简单的题目上,所有模型都在一两个回合中就猜对了答案,比如下面的房子

还有非常简洁的草地海洋

动物主题相对复杂一些,模型们一般需要猜4-5轮,比如大象这题:

游戏整体效果非常棒,网友们也是好评如潮:

你画我猜项目起源

模型画画早已不是新鲜事,但让大模型玩你画我猜?这天才想法是怎么产生的?

首先,不得不提到Simon Willison的一次测试,他让所有模型绘制自行车上有一只鹈鹕主题的图像,然后进行效果对比。

随后Paul Calcraft看到测试,他产生了一个想法:这样一个个比对太慢了,效果也不好,既然都画同一个主题,为什么不让大模型玩你画我猜的游戏呢?

没想到这位小哥说干就干,1天后就发布了“你画我猜”的0.0.1版(这令人羡慕的执行力)。

游戏中,他设定回答的模型每2秒猜测一次,回答更快的模型会更快返回答案。

网友评价褒贬不一

不少网友表示,之前大模型在《我的世界》里面比赛盖楼,令人印象深刻,而你画我猜可能成为新的视觉benchmark

还有人热心地提出了优化建议,比如以答对互相题目的速度作为评分准则,或者加入人类成绩作为参考。

还有人提议将游戏变成对抗式训练,这样大模型会进步更快。

不过,抛去趣味性,也有网友持负面观点,表示不理解这个项目的意义。

有网友调侃说,这个游戏的作用就是成为未来AI考古时的文物,帮助它们了解自己的起源。

好嘛,咱们AI有自己的洞穴壁画(doge)。

不过,游戏化学习(Learning through play)其实是教育理论和心理学中的一个重要术语。

多位网友表示,小孩子也是通过玩游戏来提升智力、学习技能的,或许这可以成为训练大模型的新方式。

虽然这次只有6轮游戏,参与的模型也有限,但确实是一次很有趣的实践。

作者Paul Calcraft也表示会继续更新这个游戏,包括分数显示、更多的游戏主题等等,期待更多后续!

以上就是【大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑】相关内容,更多资讯请关注科技网

相关推荐相关推荐

央视快评|雷军回应小米被指贴牌没技术:小米一致高度重视制造

央视快评|雷军回应小米被指贴牌没技术:小米一致高度重视制造

大家好,今天小编来为大家解答【雷军回应小米被指贴牌没技术:小米一致高度重视制造】这个问题,很多人还不知道,现在让我们一起来看看吧!日前,小米CEO雷军发视频回应小米被误解没有工厂、没有技术,被指贴牌。雷军称小米刚开始的模式是轻模式+代工模式 ...

智趣 6 2024-12-08
报道:张予彤,不能再躲了

报道:张予彤,不能再躲了

大家好,今天小编来为大家解答【张予彤,不能再躲了】这个问题,很多人还不知道,现在让我们一起来看看吧!文 | 树龙谈看完杨植麟的回应,为张予彤捏了一把汗。杨植麟是被朱啸虎逼出来的。从11月11日开始,20多天以来,关于月之暗面、老股东、张予彤的爆 ...

智趣 6 2024-12-08
全球时讯:微软Win11又一隐藏功能被发现:电池图标变色了

全球时讯:微软Win11又一隐藏功能被发现:电池图标变色了

大家好,今天小编来为大家解答【微软Win11又一隐藏功能被发现:电池图标变色了】这个问题,很多人还不知道,现在让我们一起来看看吧!快科技12月8日消息,在Windows 11的26120.2510开发版本中,被发现了一个电池图标变色的新功能。这一功能使得电池电量指 ...

智趣 6 2024-12-08
人民财评:蚂蚁集团CEO换人,做了9个月总裁的韩歆毅接任

人民财评:蚂蚁集团CEO换人,做了9个月总裁的韩歆毅接任

大家好,今天小编来为大家解答【蚂蚁集团CEO换人,做了9个月总裁的韩歆毅接任】这个问题,很多人还不知道,现在让我们一起来看看吧!文丨管艺雯 陈晶编辑丨管艺雯我们了解到,12 月 8 日上午 9 点,蚂蚁集团董事长兼 CEO 井贤栋发布全员邮件,宣布卸任 CE ...

智趣 6 2024-12-08
微评|美国宇航员瘦到脱相,究竟该怪谁?

微评|美国宇航员瘦到脱相,究竟该怪谁?

大家好,今天小编来为大家解答【美国宇航员瘦到脱相,究竟该怪谁?】这个问题,很多人还不知道,现在让我们一起来看看吧!作者:江江,编辑:江江&面线,题图来自:AI生成大伙们还记得滞留太空的两位宇航员不?因为波音的拉胯,原本8天的航天任务,直 ...

智趣 4 2024-12-08
黄河时评|人类首次!西湖大学团队解析迄今最完整小鼠基因组图谱

黄河时评|人类首次!西湖大学团队解析迄今最完整小鼠基因组图谱

大家好,今天小编来为大家解答【人类首次!西湖大学团队解析迄今最完整小鼠基因组图谱】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 12 月 8 日消息,IT之家从西湖大学微信公众号获悉,北京时间 2024 年 12 月 6 日,《科学》(Science) ...

智趣 6 2024-12-08
今日热文:蚂蚁集团董事长井贤栋全员信:总裁韩歆毅将接任CEO

今日热文:蚂蚁集团董事长井贤栋全员信:总裁韩歆毅将接任CEO

大家好,今天小编来为大家解答【蚂蚁集团董事长井贤栋全员信:总裁韩歆毅将接任CEO】这个问题,很多人还不知道,现在让我们一起来看看吧!凤凰网科技讯 12月8日,蚂蚁集团董事长兼CEO井贤栋今日通过全员信宣布,经董事会决议,蚂蚁集团总裁韩歆毅将从2025 ...

智趣 3 2024-12-08
辣评|华为MatePad Pro13评测:超越iPad的全能平板

辣评|华为MatePad Pro13评测:超越iPad的全能平板

大家好,今天小编来为大家解答【华为MatePad Pro13评测:超越iPad的全能平板】这个问题,很多人还不知道,现在让我们一起来看看吧!2010年,平板电脑在乔布斯的构想下诞生。在当时数码媒体几乎空前一致的“大号 iPhone”嘲笑声中,iPad 凭借大屏和手机交互 ...

智趣 8 2024-12-07
今日热讯:大疆Mavic 4 Pro无人机曝料:4/3″CMOS、1亿像素,基础套装售价2200欧元

今日热讯:大疆Mavic 4 Pro无人机曝料:4/3″CMOS、1亿像素,基础套装售价2200欧元

大家好,今天小编来为大家解答【大疆Mavic 4 Pro无人机曝料:4/3″CMOS、1亿像素,基础套装售价2200欧元】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 12 月 7 日消息,消息源 Hakasushi 今天(12 月 7 日)在 X 平台发布推文,从经销商处 ...

智趣 11 2024-12-07
专家热议:杨植麟解不了张予彤的围

专家热议:杨植麟解不了张予彤的围

大家好,今天小编来为大家解答【杨植麟解不了张予彤的围】这个问题,很多人还不知道,现在让我们一起来看看吧!万万没想到,围绕着现任金沙江创投主管合伙人朱啸虎、前金沙江创投主管合伙人张予彤以及月之暗面之间的各种争议,变成连续剧了。前天凌晨,朱 ...

智趣 12 2024-12-07