睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

编辑:英智

【导读】AI也会偷偷努力了?Letta和UC伯克利的研究者提出「睡眠时计算」技术,能让LLM在空闲时间提前思考,大幅提升推理效率。

AI「睡觉」时也能思考了?

Letta和UC伯克利研究者提出了「睡眠时计算」(Sleep-time Compute)技术,旨在提高LLM推理效率,让模型在空闲时间思考。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

过去一年,推理模型可太火了。回答问题之前,它会先自己琢磨琢磨。

然而,测试时扩展计算存在明显的弊端,会导致高延迟,推理成本也大幅增加。

睡眠时计算让模型在空闲时也「动动脑筋」。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

简单来讲,模型在没有接收用户查询的空闲时间,提前分析和推理上下文信息。

通过预测用户可能提出的问题,预先算出有用结果,这样用户提问时,模型就能更快、更高效地给出答案。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

这项技术在保持准确性的同时,降低了推理成本,给AI系统提供了全新的方向。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

论文链接:https://arxiv.org/abs/2504.13171

研究发现:

  • 睡眠时计算能将达到相同准确率所需的测试时计算量减少约5倍。

  • 通过扩展睡眠时计算,模型性能可提升13%。在Stateful AIME任务中,提升幅度高达18%。

  • 通过分摊睡眠时计算的成本,可以将每个查询的平均成本降低2.5倍。

  • 睡眠时计算在查询从上下文可预测的场景中效果更好。

睡眠时计算

在标准的测试时计算中,用户输入提示(包含上下文c和查询q),模型进行推理并输出答案a,可表示为。

但在实际中,很多时候在q到来之前就已经有了c,此时模型通常处于空闲状态。

睡眠时计算是利用这段空闲时间,让模型仅基于上下文c进行推理,生成一个新的、更有利于回答查询的上下文c’,这个过程表示为。

在测试时,用c’代替c,模型通过给出答案。

由于提前做了很多准备工作,此时所需的测试时预算b会远小于原来的B,大大减少了计算量。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

打个比方,你是一个图书管理员(模型),有人来问图书馆的藏书(上下文)。

以往,有人问了,才去图书馆找答案,这样效率很低。而现在,你可以在空闲时,先整理分类书籍,预测读者可能会问的问题,并做好相应的笔记(预计算)。

这样读者提问时,就能根据笔记和整理好的书籍迅速回答。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

实验结果

为验证睡眠时计算的有效性,研究人员进行了一系列实验。

Stateful GSM-Symbolic是从GSM-Symbolic的P1和P2拆分而来,增加了问题的难度。

Stateful AIME则从2024年和2025年美国数学邀请赛题目中选了60个问题,同样拆分成上下文和问题。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

Multi-QueryGSM-Symbolic数据集是为了研究共享上下文的影响,每个上下文包含多个查询。

在GSM-Symbolic数据集上,用GPT-4o-mini和GPT-4o进行实验。在AIME数据集上,使用OpenAI的o1、o3-mini、Anthropic的Claude Sonnet 3.7 Extended Thinking以及Deepseek-R1等模型。

基线采用标准测试时计算,即测试时同时把上下文c和查询q提供给模型。

改善帕累托边界

睡眠时计算能否改变测试时计算与准确率之间的帕累托边界?

在Stateful GSM-Symbolic和Stateful AIME中,睡眠时计算展现出了强大的优势,它能将达到相同准确率所需的测试时计算量减少约5倍!

这意味着在资源有限时,用睡眠时计算可让模型保证准确率的同时,大幅减少计算资源消耗。

从图中可以看出,在低测试时预算下,睡眠时计算的性能远超过基线。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

应用睡眠时计算后,测试时间和准确率有显着的帕累托偏移。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

扩展睡眠时计算

扩展睡眠时计算规模,能否进一步优化帕累托边界?

Stateful GSM-Symbolic任务中,扩展睡眠时计算会使帕累托曲线外移,相似的测试时间预算下,性能最高提升13%。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

在Stateful AIME任务中,扩展睡眠时计算,性能提升高达18%。

这表明通过合理增加睡眠时的计算资源投入,可以进一步优化模型性能。

分摊睡眠时计算

当单个上下文对应多个关联问题时,分摊测试时计算与睡眠时计算能否带来总体token效率提升?

研究人员想了解如何在每个上下文都有多个查询的设置中,应用睡眠时计算来改善推理的总成本。

Multi-Query GSM-Symbolic数据集中,当每个上下文有10个查询时,通过分摊睡眠时计算的成本,每个查询的平均成本降低2.5倍。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

这对实际应用意义重大,处理大量相关查询时,能大幅降低计算成本。

可预测查询获益更多

研究人员还发现,睡眠时计算在查询可预测性高的场景中效果更好。

随着问题从上下文中变得更加可预测,睡眠时计算和标准测试时间计算之间的准确度差距不断扩大。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

当问题更容易从上下文中预测时,睡眠时计算的效果就越好,模型的性能提升也更为明显。

软件工程中的应用

除了在数学推理任务中的出色表现,睡眠时计算在实际的软件工程任务中也进行了测试。

研究人员引入了SWE-Features这个软件工程基准,它聚焦于需要编辑多个文件和实现新功能的任务。

在这个场景中,研究人员将拉取请求(PR)作为查询q,相关的PR作为上下文c。

在睡眠时间,智能体可以探索存储库,提前总结对相关PR的理解,生成新上下文c’。

而标准测试时计算的基线设置中,智能体在测试时才同时收到上下文和查询信息。

评估方式是比较智能体预测的修改文件集和实际的修改文件集,通过计算F1分数衡量智能体表现。

结果显示,在较低测试时计算预算下,利用睡眠时计算可显着提高性能,测试时token数最多可减少约1.5倍。

睡觉也在卷!伯克利Letta新作「睡眠时计算」让推理效率飙升

但在高测试时计算预算下,仅用标准测试时计算表现更好,因为它能更早开始编辑文件,且总体编辑文件较少。

启用睡眠时计算的智能体虽然精度略低,但在处理复杂任务方面有一定优势。

参考资料:

https://x.com/Letta_AI/status/1914356940412772414

https://x.com/charlespacker/status/1914380650993569817

https://www.letta.com/blog/sleep-time-compute

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/7180.html

(0)
科技网btna的头像科技网btna
上一篇 2025年5月3日 下午3:05
下一篇 2025年5月3日 下午3:06

相关推荐

  • 全网惊了!陶哲轩带AI下场,33分钟「盲证」数学

    编辑:桃子 KingHZ 【导读】菲尔兹奖得主陶哲轩再放大招,仅数天时间,开源的概念验证工具借助Copilot迭代至2.0版本。而在最新视频中,他甚至用AI在33分钟「盲做」形式化一页证明,效率惊人。 数学大神陶哲轩携手ChatGPT,打造了开源项目——数学概念验证工具,专攻任意正参数的不等式证明。 没想到,才几天的时间,这款工具迎来2.0版本惊艳升级! 它…

    智能 2025年5月11日
    17200
  • 从游戏少女到AI女神!她用物理驯服AI,让飓风预测快1000倍

    编辑:英智 【导读】25年前,10岁的Rose Yu收到一台改变命运的电脑,从玩游戏到成为AI领域的领军人物,她如何用物理学与深度学习破解交通、飓风和核聚变的难题?跟随她的脚步,揭秘一位天才科学家的开挂人生! 10岁那年,Rose Yu收到一份改变命运的生日礼物——一台电脑。 在25年前,电脑在中国可是稀罕物。这份来自叔叔的礼物,从此开启了她开挂般的人生! …

    2025年5月2日
    4400
  • 何恺明ResNet登顶,Transformer加冕!Nature独家揭秘25篇高被引论文

    编辑:桃子 【导读】21世纪最具影响力的25篇论文中,AI论文竟然独占鳌头!从席卷全球的ResNet到奠定ChatGPT基础的Transformer架构,Nature独家揭秘全球高被引论文。 21世纪第一个25年,AI领域被引最高25篇论文都有哪些? 近日,Nature头版独家文章,揭秘了不同科学领域最具影响力的论文。 然而,令人意外的是,那些广为人知的科学…

    2025年4月18日
    4900
  • 国产大模型「五强争霸」,决战AGI!

    编辑:编辑部 HYZ 【导读】中国基础大模型市场,彻底变天了!如今牌桌上的玩家已经变成了「基模五强」——字节、阿里、阶跃星辰、智谱和DeepSeek。接下来的巅峰之战,关键制胜点又会在哪里? DeepSeek的横空出世,已经彻底改变了全球的AI局势。 从此,不仅中美大模型竞争格局改变,国产大模型的产业版图,也被一举打破! 纵观中国基础大模型的市场,可以看到,…

    2025年5月12日
    6100
  • 18岁天才高中生独登顶刊,AI解锁150万新天体!斯坦福连夜发offer

    编辑:编辑部 JZYH 【导读】18岁天才高中生,利用AI竟发现了150万个隐藏天体,震惊全球。这篇独着论文已登上天文学顶刊,或将助力探索宇宙起源之谜。为此,他斩获了25万美元科学竞赛大奖,直通斯坦福。 在NASA的2000亿条数据中隐藏着150万个未知天体,而揭开它们神秘面纱的,竟是一位美国高中生! 他就是Matteo Paz,来自加州南帕萨迪纳高中的天才…

    2025年5月13日
    2600

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信