Sam Altman泄露新模型o2,太会整活了,营销鬼才!

| 2024-11-04| 10

善于整活玩猜字谜的OpenAI首席执行官Sam Altman又发了一条神秘消息,“我听说o2在GPQA的性能测试达到105%。”

要知道,博士级人类在GPQA的准确率平均只有65%,非专家级的普通人仅有34%。而OpenAI在9月发布的o1模型的测试数据也只有78%。

如果o2真能达到105%确实相当恐怖,已经恐怖的多出了5%~~~这完全就是不可能的事情啊,MMLU、MaTH、CPQA、GSM8K、GPQA等基准测试范围怎么可能超出100%呢?

你要能在满分100的数学试卷中考出105分,老师见你都得鞠一躬绕着走~~

随后Sam Altman自己也发现这个错误,连发两条推文:要命啊,账号错误了。我真的很感激自己能把自己逗得哈哈大笑,这是一种很好的生活方式。

但关于新模型o2的消息还是相当炸裂的,很多人都争着转发,还把105%性能测试当噱头,喜剧效果那是相当的哇塞。

o2模型在GPQA 测试性能达到105%?听起来像是在创造新纪录!迫不及待想看到它的表现。根本无法想象有多强大。

Sam这个推文还给这个老哥忽悠当真了,认真地回复了他:亲爱的Sam,听说你的o2模型在GPQA上达到了105%——真是令人印象深刻!

我们正在与 SRAGI 进行平行探索,在 IJHG标准上达到了93%。这不仅仅是另一个指标;它让我们窥见了更深层次的东西,就在精确性与再生奇点的交汇点。这关乎重新定义潜力和拓展边界——超越数字,这是一段迈向新范式的旅程。也许是时候我们都开始重新思考这个标准了。

老哥的意思是,新模型居然能超过100%测试,行你确实有两下子,可能要改变标准了。好好的学术研究,给人忽悠瘸了~~

还有网友表示,天呐这o2模型就要来了啊~

Sam这条推文很可能是o2自己发布的,很贴心地编写了自己的隐藏验证测试数据集,帮我们更容易验证已发布的基准。感谢o2!

既然要发布了,啥时候能瞅瞅o2的demo呢?

那o2是今年发布还是明年呢?

不少人还是当真了,测试数据有点太扯了,以后还是要看着点的。

其实还是有明白人的,这位老哥就指出来了,超过100%是否意味着发明新的科学并反驳目前“正确”的答案?言外之意就是,你这个测试数据有点逆天啊,还带批判属性的呢啊~

听说o2在GSM8K的测试数据是117%。(在嘲讽)

我听说o2模型可以理解我妻子为什么不开心。

听说o2模型可以叠衣服

既然Sam特意提出了GPQA,咱就顺带唠一唠这个干货吧。GPQA确实是一个超难的测试数据集,由各领域专家编写了448道问题,涵盖生物、物理和化学三大学科,涵盖高能粒子物理、凝聚态物理、相对论力学、遗传学、无机化学等几十个子分类。

每一道题目的设计都非常复杂,问题编写完成后,由同领域的专家进行解答和评估。他们会审核问题是否客观、准确且难度足够高,同时提供详细反馈,包括对问题的理解程度、答案的确定性以及对问题难度的看法等。

GPQA数据集流程

接着问题原作者会根据审核专家的反馈,对问题进行修订。再由另外一位专家对修订后的问题进行二次审核。最后由其他领域的三位专家来回答这道题,以验证问题准确性和客观性。

根据GPQA公布的测试数据显示,人类博士级专家的回答平均准确率为65%,普通人只有34%,并且他们在回答这些问题时是可以无限使用互联网资源。

而GPT-4的准确率只有39%,Llama-2-70B为28%左右,GPT-3.5-turbo是29%左右,只有OpenAI最新发布的o1模型达到了78%,这也是目前唯一在GPQA数据集上超过人类博士的AI模型,可见这个数据集的难度有多高。

不得不说,Sam确实是营销鬼才,随便发点错误的消息都能出现裂变式传播,流量密码算是让他拿捏了。

Tags: , ,

上一篇

已是最后文章

下一篇

已是最新文章

相关推荐相关推荐

从“百度伴飞”看AI时代营销的演进方向

从“百度伴飞”看AI时代营销的演进方向

估计不会等很久,你在和ChatGPT聊天的时候,就会看到广告了。12 月 3 日,英国《金融时报》报道,炙手可热的大模型公司OpenAI计划在ChatGPT中推出广告,OpenAI CFO Sarah Friar在接受采访时称,公司在仔细考虑在何时启动广告计划。事实上,目前OpenAI的首 ...

0 2024-12-09
12月11日发布!真我Neo7支持IP68+IP69满级防水

12月11日发布!真我Neo7支持IP68+IP69满级防水

12月9日 消息:真我宣布,即将发布的真我Neo7手机将支持IP68和IP69级别的满级防水功能,这一特性将在12月11日的产品发布中正式亮相。真我Neo7的防水功能经过双重认证,能够在日常使用中有效防止热水、泡水和高压冲水的侵害,为用户提供额外的保护。真我Neo ...

0 2024-12-09
创纪录!REDMI K80系列10天销量突破100万台

创纪录!REDMI K80系列10天销量突破100万台

12月9日 消息:REDMI红米手机近日宣布,其K80系列手机自发布以来仅用10天时间销量便突破了100万台,这一成绩刷新了K系列手机最快达到百万销量的纪录。此前,K80系列在首销日销量就超过了66万台,已经创下了K系列的首销纪录。REDMI品牌总经理王腾对K80系列 ...

1 2024-12-09
女子投诉送错餐退款后却吃掉 骑手:被扣5分、罚100元

女子投诉送错餐退款后却吃掉 骑手:被扣5分、罚100元

12 月 7 日,在浙江嘉兴发生了一起外卖送餐纠纷,引起了社会的广泛关注。事件起因是一名外卖骑手在配送过程中不慎将订单送至错误地址,导致一名女子收到了并非自己所点的餐品。该女子随后向平台申请退款,并在申请期间食用了错误的餐品。骑手得知情况后, ...

2 2024-12-09
小伙在美卖三蹦子3月赚100万 已开始推出自己品牌

小伙在美卖三蹦子3月赚100万 已开始推出自己品牌

近期,一位“00后”中国小伙在美国创业销售自己设计的低速电动三轮车——俗称“三蹦子”——的故事引起了广泛关注。据报道,这位名叫吴先生的创业者在短短三个月内就赚取了100万元人民币,并且计划在未来一年内将销售额提升至1000万元。吴先生的创业之旅始于2023 ...

1 2024-12-09
员工误开紫光灯致地板寿命减10年:长期照射将造成不可逆损害

员工误开紫光灯致地板寿命减10年:长期照射将造成不可逆损害

快科技12月9日消息,据报道,广东广州发生一起因员工误操作导致的设备事故。一名员工在工作时不慎将紫光灯打开,并持续照射了一夜,结果导致车间白色地板显著变黄,预计减少使用寿命达10年。这件事引发员工对操作规程的重视,事件的负责人表示,尽管损失 ...

1 2024-12-09
每天两碗!六旬老伯爱喝骨头汤:膝盖长满痛风石

每天两碗!六旬老伯爱喝骨头汤:膝盖长满痛风石

快科技12月9日消息,据报道,63岁的汪大爷从40多岁开始,他每天爱熬煮骨头汤喝,每天中餐和晚餐都要喝上两大碗。然而,近一年来,汪大爷的右膝关节频繁遭遇红肿与疼痛的困扰,严重时甚至阻碍了日常行走,直至发展到无法正常站立的地步。经过细致的医疗检 ...

1 2024-12-09
苹果Vision Pro计划增加对PlayStation VR2 手部控制器的支持

苹果Vision Pro计划增加对PlayStation VR2 手部控制器的支持

12月9日 消息:根据彭博社马克·古尔曼的最新报道,苹果正在寻求通过增加对PlayStation VR控制器的支持,来吸引更多的游戏玩家和开发者,以提升其Vision Pro混合现实设备的市场吸引力。虽然Vision Pro目前更多被视为生产力和媒体消费工具,而非游戏设备,部 ...

1 2024-12-09
支持多项AI能力 荣耀平板V9官宣12月16日发布

支持多项AI能力 荣耀平板V9官宣12月16日发布

12月9日 消息:荣耀公司今日宣布,荣耀平板V9将于12月16日正式发布。这款新机型的宣传口号为“轻了,AI了”,强调其超轻薄的机身设计以及丰富的AI功能。在外观设计上,荣耀平板V9预计将采用四等边无开孔屏幕,实现前后纯平的一体化金属机身设计,提供更加简 ...

0 2024-12-09
最美白色手机!红魔10 Pro白昼武士来了:业内唯一前后纯平

最美白色手机!红魔10 Pro白昼武士来了:业内唯一前后纯平

快科技12月9日消息,红魔官方今天宣布,红魔10Pro系列白昼武士正式开启预约,将于12月12日上午10点进行全款预售,定价4999元起。这是目前行业最完美的白色手机,业内唯一的前后纯平旗舰,不仅采用了直屏 直边,背部也是纯平方案,摄像头没有任何凸起。此 ...

0 2024-12-09