站长之家(ChinaZ.com)9月13日 消息:来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型(LLM)推理速度的简单框架Medusa,并于9月12日开源发布。测试结果显示,Medusa可以将LLM的生成效率提高约2倍。
Medusa是一个简单的框架,它让大家也可以使用多解码头技术来加速大型语言模型的生成。目前,许多热门的加速技术如speculative decoding都存在一些痛点,比如需要一个不错的draft模型作为基础,系统复杂度高,采样生成时效率不高等。
项目地址:https://github.com/FasterDecoding/Medusa
Medusa的方法是在原有的语言模型上增加额外的“解码头”,让每个头同时预测多个可能的未来词元。在使用Medusa增强模型时,原有的模型保持不变,仅新增的解码头在训练中进行微调。生成时,这些头并行产生多个可能的词,然后通过一种基于树的attention机制合并处理,最后使用一般的采纳策略从候选中挑选出最长的可信前缀进行解码。
研究人员通过以下几点设计,来解决speculative decoding存在的问题:
1) 不引入新的模型,仅在原模型上新增解码头,训练时参数效率高。
2) 生成时不需要严格匹配原模型的分布,使非贪婪生成甚至比贪婪解码还快。
第一个版本主要优化了每个batch只有一个样例的场景,也就是本地机器上常见的使用方式。在这种配置下,Medusa可以为Vicuna系列模型带来约2倍的加速。研究人员称正在积极扩展Medusa的应用场景,集成到更多的推理框架中,以获得更高的性能提升。
Medusa核心功能:
- 在现有语言模型上增加多解码头
- 高效训练参数
- 生成时树形attention机制合并多个预测
- 非贪婪生成模式下实现更快速度
快科技5月5日消息,今天电影《没有一顿火锅解决不了的事》官方发布公告,宣布撤档。 官方称:自上映以来,因为各种环境因素,导致影片没有与更多的观众见面。在认真研判目前的情形后,为满足更多观众的需求,我们的火锅将于5月6日撤档。” 该片由丁晟执导 ...
快科技5月5日消息,五一假期迎来倒计时。今天24点,七座以下(含七座)小型客车高速公路免费通行将正式结束,如果赶不上时间了,怎么下高速最省钱?
快科技5月5日消息,近日三星官方发布了一则标题为三星用户今天准时起床”的短视频(点此链接观看),调侃近期iOS更新导致的iPhone闹钟不响的Bug。
快科技5月5日消息,日前,网易集团公益基金会宣布为梅大高速见义勇为司机王向楠及其妻子颁发10万奖金,向其见义勇为之举致敬。
近日,一段西安某动物乐园鹈鹕吞小鸭子的视频引发热议。网友笑评,同事们之间可不要开这种玩笑,随便吃同事真的很不礼貌。
快科技5月5日消息,日前,导演方先生发布视频,实名举报B站五四青年节短片涉嫌洗稿。 对此,B站则是发出律师函回应称,与各供应商(包括方先生)沟通之前就已经形成了短片创意和brief纲要,视频内容来源于其他供应商,未剽窃或洗稿方先生的方案。 B站还表 ...
据报道,苹果公司计划在即将发布的iPhone 16系列手机中使用由中国供应商提供的不锈钢电池外壳。这种全钢外壳将采用激光焊接技术,以提升电池的使用寿命并增加循环次数。根据之前的爆料,iPhone 16系列的电池容量为3561mAh、iPhone 16 Plus为4006mAh、而iP ...
快科技5月5日消息,五一假期最后一天,携程发布了《2024五一假期旅行总结》。 携程数据显示,五一假期,国内最热门的旅游目的地依次为:北京、上海、杭州、成都、重庆、广州、南京、武汉、西安、深圳。 此外,五一假期旅游呈现出下沉化趋势。扬州、洛阳、 ...
快科技5月5日消息,据国外媒体报道,近日微软披露了一个名为Dirty Stream”的严重安全漏洞,攻击者可利用此漏洞控制应用程序并窃取有价值的用户信息。
快科技5月5日消息,今日赛力斯发布2024年4月份产销快报,4月新能源汽车销量27868辆,同比增长302.89%。其中,赛力斯汽车销量24878辆,同比增长742.47%。
站长之家(ChinaZ.com)5月5日 消息:5月5日,支付宝发布《五一假期8个发现》,出游办事问AI、反向游小城、演唱会摆摊经济、洗去班味等成为值得关注的新生活风向。
随着免签等系列便利国际游客来华旅行政策的推出,越来越多的海外友人奔赴中国旅行,领略中华美景和文化。今年五一,在出境游火热的同时入境游市场也进一步升温,便捷的支付服务,也让来华旅行的国际游客畅游畅买。支付宝平台显示, 2024 年五一假期期间, ...
【btna科技资讯】5月5日消息,近日两款新型 vivo 智能手机,型号分别为 V2364A 和 V2362A,已经通过了工信部认证和无线电核准,这预示着 vivo S19 和 vivo S19 Pro 的即将到来。 这两款新机在之前已经获得了国内的3C认证,并且都支持80W有线快充,如今已 ...
快科技5月5日消息,五一假期今天已经接近尾声剩最后一天了,不仅如此,下周还要上6天班,5月11日(星期六)也要上班。
【btna科技资讯】5月5日消息,根据国际数据公司(IDC)最近发布的报告,2024年第一季度,全球平板电脑出货量为3080万台,同比微增0.5%。