【新智元导读】大语言模型的「逆转诅咒」,被解开了。近日,来自Meta FAIR的研究人员推出了反向训练大法,让模型从反方向上学到了事实之间的逻辑,终于改进了这个困扰人们已久的问题。
大语言模型的「逆转诅咒」,被解开了!
这个诅咒在去年9月首次被发现,一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。
因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”:一个在「A是B」上训练的语言模型,并不能正确回答出「B是A」。
比如下面这个例子:在LLM明知道「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」的情况下,却无法答出「Mary Lee Pfeiffer的孩子是汤姆·克鲁斯」。
——这可是当时最先进的GPT-4,结果连小孩子都具备的正常逻辑思维,LLM却做不到。
立于海量的数据之上,记住了几乎超过所有人类的知识,却表现得如此呆板,取得了智慧之火,却永远被囚禁于这个诅咒之中。
论文地址:https://arxiv.org/pdf/2309.12288v1.pdf
这事一出,全网一片哗然。
一方面,网友们表示,大模型真傻,真的。单知道「A是B」,却不知道「B是A」,自己终于保住了作为人类的尊严。
而另一方面,研究人员们也开始对此展开研究,快马加鞭解决这个重大挑战。
近日,来自Meta FAIR的研究人员推出了反向训练大法来一举解决LLM的“逆转诅咒”。
论文地址:https://arxiv.org/pdf/2403.13799.pdf
研究人员首先观察到,LLMs从左到右以自回归的方式进行训练,——这可能是导致逆转诅咒的原因。
那么,如果以从右到左的方向来训练LLM(逆向训练),就有可能让模型在反方向上看到事实。
可以将反向文本视为第二语言,通过多任务处理或跨语言预训练,来利用多个不同的来源。
研究人员考虑了4种反向类型:标记反转、单词反转、实体保留反转和随机段反转。
标记和单词反转,通过将序列分别拆分为标记或单词,并颠倒它们的顺序以形成新序列。
实体保留反转,在序列中查找实体名称,并在其中保留从左到右的单词顺序,同时进行单词反转。
随机段反转,将标记化的序列分割成随机长度的块,然后保留每个块内从左到右的顺序。
研究人员在1.4B和7B的参数规模上,测试了这些反转类型的有效性,结果表明,实体保留和随机分段反向训练可以减轻逆向诅咒,甚至在某些情况下完全消除它。
此外,研究人员还发现,与标准的从左到右训练相比,训练前逆转的方式使模型的表现有所提高,——所以反向训练可以作为一种通用的训练方法。
反向训练大法
逆向训练包括获取具有N个样本的训练数据集,并构造反向样本集REVERSE(x)。
函数REVERSE负责反转给定的字符串,具体做法如下:
单词反转 :每个示例首先被拆分为单词,然后在单词级别反转字符串,用空格将其连接在一起。
实体保留反转:对给定的训练样本运行实体检测器,将非实体也拆分为单词。然后将非实体的单词进行颠倒,而表示实体的单词保留原有词序。
随机段反转:这里没有使用实体检测器,而是尝试使用均匀采样,将序列随机分割成大小为1到k个token之间的句段,然后颠倒这些句段,但保持每个句段内的词序,之后,这些句段使用特殊标记[REV]连接。
上表给出了在给定字符串上,不同反转类型的示例。
此时,语言模型仍然从左到右进行训练,在单词反转的情况下,就相当于从右到左预测句子。
逆向训练涉及对标准和反向示例的训练,因此训练token的数量增加了一倍,同时正向和反向训练样本都混合在一起。
逆向转换可以看作是模型必须学习的第二种语言,请注意,在反转的过程中,事实之间的关系保持不变,模型可以从语法中判断它是处于正向还是反向语言预测模式。
逆向训练的另一个角度可以由信息论来解释:语言建模的目标是学习自然语言的概率分布
实体对映射
首先创建一个简单的基于符号数据集,以研究受控环境中的反转诅咒。
以一对一的方式随机配对实体a和b,训练数据包含所有(a→b)映射对,但仅包含一半的(b→a)映射,另一半作为测试数据。
模型必须从训练数据中推断规则a→b ⇔ b→a,然后将其推广到测试数据中的对。
上表展示了符号反向任务的测试准确率(%)。尽管这项任务很简单,但标准语言模型训练完全失败了,这表明仅靠扩展不太可能解决。
相比之下,反向训练几乎可以解决两个单词实体的问题,但随着实体变长,其性能会迅速下降。
单词反转适用于较短的实体,但对于具有较多单词的实体,实体保留反转是必要的。当最大段长度k至少与实体一样长时,随机段反转表现良好。
恢复人名
上表展示了确定人全名的反转任务,当仅给出出生日期确定一个人的全名时,反转任务的准确性仍然接近于零,——这是因为在本文采用的实体检测方法中,日期被视为三个实体,因此在反转中不会保留它们的顺序。
如果将反转任务简化为仅确定人的姓氏,则单词级别的反转就足够了。
另一个可能会令人感到惊讶的现象是,实体保留方法可以确定该人的全名,但不能确定该人的姓氏。
这是一个已知的现象:语言模型可能完全无法检索知识片段的后期标记(比如姓氏)。
现实世界事实
这里作者训练了一个Llama-214亿参数模型,在从左到右方向上训练一个2万亿个token的基线模型。
相比之下,逆向训练仅使用1万亿token,但使用相同的数据子集在从左到右和从右到左两个方向上进行训练,——两个方向合起来是2万亿个token,在计算资源上做到公平公正。
为了测试对现实世界事实的反转能力,研究人员使用了一个名人任务,其中包含“诸如某个名人的母亲是谁”之类的问题,同时还包含更具挑战性的反向问题,比如“某个名人的父母的孩子是谁”。
结果如上表所示。研究人员对每个问题的模型进行多次抽样,如果其中任何一个包含正确答案,则将其视为成功。
一般来说,由于模型在参数数量方面很小,预训练有限,并且缺乏微调,因此准确性通常相对较低。然而,反向训练的表现更加优秀。
1988年,Fodor和Pylyshyn在《认知》刊物上发了一篇关于思维的系统性的文章。
如果你真的理解这个世界,那你就应该能够理解a相对于b的关系,也能理解b相对于a的关系。
即使是非语言认知生物,也应该能够做到这一点。
一句“真是服了你们这群颠公颠婆”,让“王妈”一跃成为短视频界的新顶流。 王妈是谁?她是剧情达人“七颗猩猩”《重生之我在霸总短剧里当保姆》系列短剧中塑造的NPC之一,一个让被迫卷入霸总短剧言情桥段、还敢直面“颠公颠婆”,并精准吐槽、获得打工人狠狠共情 ...
快科技5月4日消息,五一假期期间,全国各地的旅游景点迎来了大量游客。有网友分享了桂林漓江的航拍视频,展现了这一著名景区的壮观景象。
快科技5月4日消息,据wccftech最新消息,首款8 Gen 4旗舰将于10月发布。而按照以往惯例,小米15有望首发。
MLP(多层感知器)用了几十年了,真的没有别的选择了吗? 多层感知器(MLP),也被称为全连接前馈神经网络,是当今深度学习模型的基础构建块。 MLP 的重要性无论怎样强调都不为过,因为它们是机器学习中用于逼近非线性函数的默认方法。 然而,MLP 是否就是 ...
除了计算资源和训练数据这些硬实力外,Llama3模型开源的训练思路覆盖了LLM模型的全部生命周期,提供了各种开源生态系统下的工具。
快科技5月1日消息,日常生活中,难免会有不小心发生磕磕碰碰的事情,比如碰到路边停放的一辆电动车、自行车,一般情况下,扶起来就好了,但如果有人张口就问你要38000多的赔偿,你会是什么反应?
5月1日消息,据国内多家媒体报道,随着五一假期的到来,各地景区上演人从众”场面。 在泰山景区,有网友晒出了现场爬山的视频,一眼望去全是人,感叹夜爬泰山走不动道”。 不止是泰山景区,日前河南龙门石窟、白马寺发布提醒:5月1日白马寺线上门票预约已 ...
快科技5 月1日消息,广汽埃安官方今日宣布开启五月限时活动,9.98万元包牌开走”430km续航版本的AION Y Plus车型 ,全系赠送全险并且提供最高10000元置换补贴,持平原价9.98万元的310km星耀版。
快科技5月1日消息,博主数码闲聊站爆料,OPPO将于5月份推出Reno12系列机型,这是OPPO史上最强悍的Reno产品。
快科技5月1日消息,vivo韩伯啸透露,vivo X100 Ultra将在五一假期结束后正式发布。 据悉,这款手机被誉为史上影像最佳的智能手机。其后置主摄采用了第二代1英寸传感器索尼LYT-900,配备超大光圈和全新蔡司光学镜头,同时还引入了自家研发的蓝图影像技术, ...
快科技5月1日消息,上汽通用五菱品牌事业部副总经理表示,宝骏纯电动轿车今日在印尼开售,除去享受的政府优惠补贴后,成交价为4.1亿印尼盾(约合人民币18万元)。
【btna科技资讯】4月30日消息,Hi nova 12 SE在今日10:08准时上市销售。这款新机的储存容量有两种选择,256GB的版本定价为2199元,而512GB的版本则标价2399元。对于那些重视外观的消费者,雪域白与曜金黑两款配色或许能满足他们的审美需求。 Hi nova 12 ...
【btna科技资讯】4月30日消息,三星即将在明年1月推出其下一代旗舰机型——三星S25系列。此前备受关注的一大亮点是该系列新机可能搭载的叠片式电池技术,以提升S25