52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

编辑:英智

【导读】大模型之战烽火正酣,谷歌Gemini 2.5 Pro却强势逆袭!Gemini Flash预训练负责人亲自揭秘,深挖Gemini预训练的关键技术,看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。

谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。

近日,Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。

他深入分析了Gemini预训练的方法、挑战以及方向,如何在模型大小、算力、数据和推理成本间取得平衡。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

PPT链接:https://vladfeinberg.com/assets/2025-04-24-princeton-talk.pdf

经典扩展定律

模型训练中,计算资源的合理利用至关重要。

假设有计算资源(C)1000块H100芯片,运行30天,如何训练出最佳的LLM呢?

这就涉及到模型参数量(N)和训练token数量(D)。

对于Transformer,计算量C和N、D之间存在一个近似公式:C≈6×N×D。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

MLP是模型的重要组成部分,不同操作的浮点运算量和参数量有所不同。

比如这个操作,训练时的浮点运算量是6BTDF,参数量为DF。

把MLP的多个操作加起来,总训练浮点运算量约为18BTDF,参数数量达到3DF。

注意力机制的计算更为复杂。将注意力机制相关操作的计算量相加,约为12BTSNH=12BT²NH,参数量为4DNH。

将MLP和注意力机制的计算量合并,就能了解整个模型训练时的计算量情况。

Kaplan定律

2020年,Kaplan等人的研究揭示了模型性能与数据量、模型规模和计算量之间的关系。

自回归Transformer模型中,小模型可以用来预测大模型的性能。

模型性能与算力、参数量、数据量之间存在幂律关系。当计算预算增加10倍时,模型参数量应增加5.37倍,数据量增加1.86倍。

这一结论在当时引起了广泛关注,点燃了企业的「军备竞赛」。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

Chinchilla(龙猫)

然而,2022年,DeepMind对Kaplan的观点提出了质疑。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

Kaplan的研究在每个模型规模下仅运行一次训练,并用中间损失来估计不同token训练步数下的损失。

Chinchilla论文指出,基于单次训练的中间loss点来推断存在缺陷,通过适当的学习率衰减可以获得更好的损失值,只有最终的损失值才是最优的。

论文采用IsoFlops方法,固定浮点运算量预算,同时改变模型规模和训练token数量。

  • 固定总算力C

  • 训练多个不同参数N的模型,对应不同数据量D(C≈6×N×D)

  • 找到loss最低的模型N_opt(C)和D_opt(C)

  • 重复以上步骤,得到不同算力下的最优(N,D)点,并拟合

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

研究发现,模型参数N和数据量D应以大致相同的速率(幂律指数约为0.5)随算力C增长,这与Kaplan等的结论大相径庭。

这意味着,按Kaplan定律训练的模型,可能存在训练不足的情况,数据太少,会增加模型后续部署和使用的成本。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

为了进一步优化模型训练,研究人员尝试了多种方法。通过不同的计算场景和拟合方式,得到了更精确的系数。

混合专家(MoE)模型的扩展定律展现出了独特的优势。与传统模型相比,在相同的活跃参数数量和固定100B token的情况下,MoE 64E模型的性能更优。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

然而,MoE模型对token数据的需求量较大,互联网上的可用数据逐渐难以满足其需求,这成为了发展瓶颈。

为了解决数据不足的问题,研究人员将目光投向了更多的数据来源。多模态数据,如音频、视觉、3D 模型、视频等,为模型训练提供了丰富的信息。

合成数据也受到了关注。实际应用中,需要在生成质量与筛选成本之间找到平衡。

实时场景的模型选择

在谷歌的许多应用场景中,如免费的Gemini聊天机器人、AIO、AIM、Vertex AI(用于模型微调、部署)以及AI Studio(提供生成式API)等,推理效率至关重要。

这些应用需要快速给出准确的响应,对模型的推理速度和效率要求极高。

就拿实时应用来说,Astra和Mariner都需要快速响应。

以一个网络交互智能体为例,假设上下文128k,但每次增量只有8k token,解码需要128 token来生成一个动作,并且动作之间的延迟不超过1秒,其中250毫秒还得用于框架搭建、负载均衡等操作。

用Llama3-70B模型和v5e芯片做实验,发现单芯片处理8k token需5.7秒。为了达到0.5秒的API延迟限制,需要搭建4×4 v5e并行。

实时应用中,小模型反而更有优势,如Gemini Flash/Flash-lite。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

Chinchilla的扩展方法虽然在模型训练的计算优化上有效,但它忽略了推理成本。

在实际应用中,需要综合考虑训练和推理的成本,找到更合适的模型和数据配置。

推理优化扩展定律

《超越Chinchilla最优:在语言模型扩展定律中考虑推理因素》这篇论文提出了新的推理优化Scaling Laws。

核心思想是,不仅最小化训练loss,而是要综合考虑训练和推理的总计算量,为模型优化提供了新的方向。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

按照这些公式,在相同计算量下,与Chinchilla最优策略相比,应该训练更小的模型,并使用更多的数据,因为推理所需的计算量更少。

当然,这也存在新的挑战。

  • 计算资源的非同质性:实际应用中计算资源存在差异,用于推理优化的芯片各不相同,给推理优化带来了困难。

  • 推理量D_inf难以预测:技术进步提高资源利用效率,反而会增加对该资源的需求(杰文斯悖论)。模型质量提升可能会扩大市场,进而影响推理时的token数量D_inf。

  • 拟合效果不佳:不同数据集下,相关参数的拟合效果存在差异。不同token与参数比例的数据子集,拟合得到的 α、β等参数不同,和Chinchilla的拟合结果也有较大差异。

针对这些问题,研究人员采用在数据约束下建模的方法。研究引入新维度,即有意区分数据,提出新的损失函数和数据规模公式,这样训练出来的模型更小,对数据重复的鲁棒性更强。

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

对于推理token数量的处理,像Llama3模型,有研究指出其8B和70B参数的模型,在训练到15T token后,性能仍呈对数线性提升,即D_inf可视为无穷大。

蒸馏的探索与应用

除了模型大小、数据量和推理成本,知识蒸馏为推理优化扩展带来了新的思路。

知识蒸馏扩展定律公式:

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

通过调整这些参数,可以优化学生模型的性能。

不过,知识蒸馏在实际应用中也有一些问题,比如趋势影响不明显、部分情况考虑不周全等,但可以通过权重调整等方法进行改进。

从原理上讲,知识蒸馏能降低方差,更好的教师模型能减少偏差,为模型优化提供了新途径。

谷歌Gemini预训练技术对经典扩展定律和推理优化扩展定律都进行了深入研究。

经典扩展定律通过探索模型规模、数据量和计算量之间的关系,不断优化模型训练的资源配置。

推理优化扩展定律针对推理成本和效率问题,综合考虑训练和推理需求,提出新方法,提升模型整体性能。

同时,知识蒸馏等技术的应用也为模型的优化提供了更多的途径。

Vlad Feinberg

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

Vlad Feinberg毕业于普林斯顿大学计算机科学专业,于加州大学伯克利分校RISE实验室攻读博士学位。

后来,Feinberg加入了一家名为Sisu的初创公司,担任机器学习主管。他曾任职于谷歌研究院的Cerebra项目,目前在谷歌DeepMind工作。

参考资料:

https://x.com/JeffDean/status/1916541851328544883

https://x.com/FeinbergVlad/status/1915848609775685694

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/6424.html

(0)
科技网btna的头像科技网btna
上一篇 2025年4月29日
下一篇 2025年4月29日

相关推荐

  • 苹果可放心研发无接口iPhone 欧盟放话:不会限制

    3月20日消息,iPhone 17 Air将是苹果史上最薄的手机,苹果记者Mark Gurman称,苹果曾考虑在iPhone 17 Air上去掉充电接口,但最终放弃了这一想法,原因是苹果担心被欧盟处罚。 对于这种想法,欧盟委员会相关人员回应称“不会限制无接口设备的推出”。这意味着未来苹果推出仅支持MagSafe充电的无端口iPhone,该设备在欧盟国家的销售…

    2025年3月20日
    75000
  • 刚刚,ICML 2025录用结果公布!好评论文惨遭拒,审稿人敷衍引全网怒喷

    编辑:桃子 【导读】ICML 2025录用结果新鲜出炉!今年共有3,260篇论文被录用,录用率26.9%。然而,这届评审质量再掀热议,审稿人敷衍参评各种乌龙被曝出。 ICML 2025录用结果,终于公布了! 今年,顶会共提交了12107篇有效投稿(不包括「桌拒」论文)。其中,3260篇论文被接收,录用率为26.9%。 值得一提的是,ICML总投稿数量每年激增…

    2025年5月2日
    4300
  • ICCV 2025万篇投稿破纪录,作者被逼全员审稿!网友痛批不如GPT

    编辑:编辑部 YHs 【导读】这一届的ICCV 2025,论文投稿量达到惊人的11,152篇,刷新历史纪录。评审结果公布后,有人晒出高分成绩单,也有人对评审意见表示沮丧。面对如此庞大的投稿规模,大会如何确保评审质量? ICCV 2025评审结果公布了! 这届ICCV论文投稿数量创历史新高。据大会官方公布,今年共收到11152份有效投稿,远超往届规模。 ICC…

    2025年5月12日
    5400
  • GPT-4.5功臣遭驱逐!奥特曼盛赞工作出色,美国深陷AI人才危机

    编辑:犀牛 好困 【导读】近日,GPT-4.5核心开发者之一的Kai Chen因绿卡申请被拒,面临被迫离开美国的困境。与此同时,1700多名国际学生和研究人员因签证审查受阻,Nature调查显示75%的美国科学家正考虑逃离。这种人才流失或将影响美国在全球AI领域的领先地位。 GPT-4.5的核心研发成员,竟然要被驱逐出美国?! OpenAI着名研究科学家No…

    2025年4月26日
    6800
  • CMU辍学创业,她成了全球最年轻白手起家女亿万富翁!

    编辑:英智 【导读】她21岁创立AI公司,靠5%股份逆风翻盘!Lucy Guo如何从自学编程到辍学创业,超越Taylor Swift,成为全球最年轻的白手起家女亿万富翁? 最近,30岁的郭如意(Lucy Guo)火出圈了! 她超越了流行天后Taylor Swift,成为全球最年轻的白手起家女亿万富翁。 Scale AI最新估值为250亿美元,这也让联合创始人…

    2025年4月26日
    5800

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信