为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

行情 | 2024-04-26| 7
为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

讯飞的持续高投入,换来了大模型能力的迅速提升。

4月26日,科大讯飞发布讯飞星火大模型 V3.5的功能上新,其中一个重点就是面向用户各种场景中高效获取信息需求,发布首个长文本、长图文、长语音的大模型,能够支持文档、图文资料、会议录音等各种信息来源的快速理解和学习,还能够结合各种行业场景知识给出专业、准确回答。

效果到底如何?

今年人形机器人发展火热,我们将一份长达70多页的人形机器人报告,丢给了讯飞星火。只见星火很快上传解析了文件,我们先让星火总结这份报告的重点信息,星火条理清晰的给出了答案。

然后又让它给出报告中特斯拉机器人的概括提炼,讯飞星火也结合报告中特斯拉机器人的信息从技术迭代、核心技术和部件、学习能力等进行了总结提炼。

整体看下来,讯飞星火已经能作为一个知识助手,帮助我们在海量的信息中快速的获取知识,大幅提升我们获取信息的能力,并且效果也很不错。

值得关注的是,据七麦数据显示,讯飞星火 APP 在安卓端的下载量已经超过9600万次,在国内工具类通用大模型 APP 中排名第一。持续用技术进步解决真实刚需下,讯飞星火也在获得越来越多用户的认可。

为何要做长文本、长图文、长语音大模型?

知识高效获取一直都是职场、学生和科研人士的痛点问题。不同于行业单 “卷” 长文本,科大讯飞此次推出了首个长文本、长图文、长语音的大模型,背后是如何考虑的?

科大讯飞分析发现,在知识获取和学习的过程中,广大用户能拿到的资料往往不仅是现成的文本,还有随手可见的报刊书籍内容、各种研讨会的 PPT 内容,老师黑板上的板书、同学的笔记,以及各种会议录音、访谈,各种网上的发布会、培训教育视频等,能不能把这些文本、图片、语音等都上传到讯飞星火中,快速获取知识?

正是这一考虑,科大讯飞推出首个支持长文本、长图文、长语音的大模型,希望以此来解决用户真实场景中多元信息的获取需求,提供高效便捷的知识管理体验。

科大讯飞,赞24

场景问题之外,用户高效获取知识的痛点还有效率问题和专业度问题。

比如面对上百万甚至上千万文字,长文本大模型消耗的运算资源非常大,业界大模型往往处理一半或者更少就无法处理了,长文本功能的落地,需要解决高效处理。

为了解决这一问题,科大讯飞用业内领先的讯飞星火 V3.5提升对长文本的理解、学习、回答能力,在此基础上使用稀疏剪枝技术,裁剪出小模型来处理长文本任务,同时使用了大模型知识蒸馏技术,极大提升了小模型的通用能力。从而推出业界最优的130亿参数的大模型,在效果损失仅3% 以内的情况下,使得星火在文档上传解析处理、问答首响时间以及文字生成效率方面都获得了极大的效率提升。

在长文本能力上,讯飞星火具备长文档信息抽取、长文档知识问答、长文档总结、长文档文本生成等能力,总体已经达到 GPT-4Turbo4月最新长文本版本的97% 水平,而在银行、保险、汽车、电力等多个垂直领域的知识问答任务上,讯飞星火大模型长文本总体水平已经超过 GPT-4Turbo。

在长图文能力上,科大讯飞面向复杂的图文场景推出星火图文识别大模型,以星火通用大模型为基座,结合视觉编码器和多粒度图文任务等构成。

从效果来看,它能够直接处理非常复杂的版面分析,已经覆盖31个典型场景,比如书刊、学术论文、专利、报纸、海报、PPT 等,同时能自动识别标注出18类不同的版面要素,比如页眉、页脚、标题、段落、表格、公式、印章、手写等;融合篇章上下文语义进行文字识别,识别更精准;面向教育、金融、医疗、科研等专业领域深度优化,能自动实现更多领域的专业符号识别。

根据国际公开的权威英文测试集来看,讯飞星火的图文识别效果超过微软和谷歌。从典型应用场景来看,效果在科研、金融以及企业产品技术文档等识别效果都处于业界领先地位。

科大讯飞,赞218

此外,面对广泛的音视频中信息高效获取需求,科大讯飞也推出长语音功能,将多年储备的语音识别和翻译技术结合起来,可以实现会议录音、学习视频等的一键研读,这个对于音视频场景的高效信息获取非常有用。

通过此次上新的长文本、长图文、长语音功能,我们在日常的学习、工作中,无论是长文本素材,随手拍的图文信息,亦或是会议录音,高效知识获取都可以通过一个大模型搞定。

AI 能 “情感共鸣”,还能一句话声音复刻

年初讯飞星火 V3.5发布会上,科大讯飞推出了超拟人对话功能,AI 的声音更自然更真实,拟人度达到了83%,广受用户欢迎。结合体验看,无论是语音可懂度、流畅度还是表现力,讯飞星火效果都超过 OpenAI、微软。

此次科大讯飞发布多情感超拟人合成,进一步提升了情绪表达的可感知度,对高兴、抱歉、安慰、撒娇、困惑等情绪表达的可感知度达到85% 以上,AI 语音更加生动、真实。

它是如何做到的呢?概括来说,通用大模型 + 语音大模型,让语音合成更逼真。首先,基于星火通用大模型的能力,来预测文本中的口语化现象、情感、停顿等细节信息,这对于传达说话者的真实感受非常重要;然后,星火语音大模型学习人类的口语化表达方式后,对通用大模型预测的口语化信息进行还原,从而极大提高了合成的拟人化效果。

目前,昊铂 HT2024款车型行业率先搭载科大讯飞超拟人合成技术,已在4月25日正式全球上市。超拟人在车载、家电等行业的应用将会出现越来越多的落地成果。

科大讯飞,赞133

除了超拟人对话,科大讯飞还推出 “一句话声音复刻” 功能,用户只用在讯飞星火 APP 中跟读一句话,就可以复刻你的声音。

基于大模型在通用任务上的出色表现,在学习海量的人声数据之后,现在大模型能够实现在很少的声音数据情况之下,就能模仿出和原人声极为相近的声音效果。

以前想要模拟一个人的声音,需要这个人录制很长时间,随着技术的不断进步,从需要录制一周、到录制一天,再到现在基于大模型加持之下,只需要录制一句话,就能复刻出你的声音。比如模仿小朋友的声音,每天给爷爷奶奶读书读报;在我们出差的时候,模仿我们的声音给孩子讲故事。大家可以在讯飞星火 APP 上体验。

做真正解决实际刚需的大模型

国内大模型市场经过一年发展,已呈现出各自的差异化落地路线,比如字节豆包主打娱乐,而讯飞星火则更加注重实际刚需场景,这一点从其技术落地就可以看出。结合本次升级,科大讯飞董事长刘庆峰重点介绍了讯飞星火在招投标、合同、教育、科研等场景下的应用。

比如日常生活中,我们在租房、装修或者商务合作中经常会遇到各种各样的合同,看不懂不想看存在风险怎么办?科大讯飞推出星火合同助手,它可以对我们的合同进行风险审核、合同比对,摘要总结以及合同生成,迅速识别潜在风险漏洞,它像个 “AI 法务” 一样帮你更好的应对合同场景。

在教育场景,大模型进一步升级了讯飞 AI 学习机产品,不仅对作文的批改、对理科的批改更加精准,也让智能化辅学更有针对性更高效,还升级了百科问答功能,更好解答孩子的十万个为什么。智慧黑板中也升级了实录功能和星火教师助手,后者融入长文本能力后,可以把优质教辅内容融入,教师在备课的过程中就可以直接融入教辅教参中的内容,进一步丰富备课资源,提升备课效率。

此外,在科研场景,此前星火科研助手目前已在中国科学院、三亚崖州湾科技城、北京邮电大学、哈尔滨工业大学等机构高校铺开应用。多模态能力升级下,讯飞星火科研助手也进一步提升了论文问答、综述生成、实验解读等的效果,可以解析的学术资料更加丰富,进一步赋能高校和科研院所的科研工作。

面向用户场景之外,这一次科大讯飞也面向企业场景中知识管理与高效获取需求,推出智能体平台,敏捷触达大模型企业落地的最后一公里。

企业构建智能体的关键环节可以概括为任务理解、任务规划、任务执行。刘庆峰介绍,针对用户的输入,首先,基于讯飞星火大模型聪明的底座能力,会自动实现用户输入的精准理解和任务规划。其次,解析完了相关的任务和对应的工具之后,讯飞星火也构建形成了包括天气、航班、企查查等成体系的外部信息来源的对接;

同时,星火智能体平台还通过互认证的机制,实现了往往是独立的、隔离的 OA 系统、CRM 系统以及 ERP 系统的打通,完成相应操作;最后,通过私域知识融入机制,智能体平台很容易实现企业所属行业以及企业私域知识的融入。此外,星火智能体平台还可以通过拖拽方式即可实现的新智能体的创建和多智能体的协作。

可以看到,讯飞星火这次升级更务实,都是为了解决用户真实场景下的刚需。刘庆峰也透露,科大讯飞将在6月27日发布讯飞星火大模型 V4.0,进一步实现对 GPT-4Turbo 的对标。

标签:, ,

相关推荐相关推荐

百度公关老大亲自下场做短视频,5天涨粉近百万

百度公关老大亲自下场做短视频,5天涨粉近百万

这个五一期间,打工人好不容易享受下假期,从卷的生活中放空自己。 而企业老板们却加起了班,卷起来了,做起了自媒体。 比如最近风头正盛的周鸿祎,五一期间还发了3个视频,主打一个假期也不能停。 雷军更卷,假期发了12条微博,也是奉行永不掉线。 除了 ...

行情 1 2024-05-07
10元“出片神器”全是年轻女孩买,老板:就怕缺货

10元“出片神器”全是年轻女孩买,老板:就怕缺货

“别人戴是田园风、度假风、复古风,我戴就是狼外婆,‘偷感’十足(偷感,年轻人的互联网新人设,形容偷偷摸摸的感觉,指部分人在一些公共场合中会显得不自信、拘谨)。”

行情 2 2024-05-07
进击的DramaBox:翻译短剧拿捏美国,霸总之后“战神”出海

进击的DramaBox:翻译短剧拿捏美国,霸总之后“战神”出海

除去近期在美国市场初露锋芒的 ShortMax,ReelShort 和 Dramabox 在海外市场的“针锋相对”已经持续好一阵了。根据 SensorTower 的最新数据,今年2月,点众科技 DramaBox 在美国市场收入上涨82%,达到 ReelShort 的72%,差距缩小明显,结合点点数据,DramaB ...

行情 2 2024-05-07
OpenAI与Stack Overflow合作,提升ChatGPT编程能力

OpenAI与Stack Overflow合作,提升ChatGPT编程能力

划重点: 🤖 OpenAI 与 Stack Overflow 达成技术合作,将 Stack Overflow 的编程问答数据集集成到 ChatGPT 中。 🔍 ChatGPT 利用 Overflow API 提供的编程答案,提升了20% 的编程能力。 💡 Stack Overflow 首席执行官表示,合作将显著提升 ChatGPT 在编程领域 ...

行情 1 2024-05-07
AI教母李飞飞初创AI公司,开启最前沿AI算法研

AI教母李飞飞初创AI公司,开启最前沿AI算法研

最近的AI领域,又出现了大动作。 根据路透社5月4日消息,著名华人计算机科学家李飞飞正在建立一家初创公司。这家公司会利用类似人类对视觉数据的处理,使 AI 能够进行高级推理。这种AI算法使用的概念被称为“空间智能”。至于新公司的名字,还没有向外界披 ...

行情 1 2024-05-07
iPhone折叠屏将可双向折叠引热议 网友:成品遥遥无期

iPhone折叠屏将可双向折叠引热议 网友:成品遥遥无期

快科技5月7日消息,今日,词条#iPhone折叠屏或将可向内外折叠#登上微博热搜,引来不少网友围观。

行情 1 2024-05-07
日元34年来最便宜:中国游客日本人均消费超1.3万 全球最高

日元34年来最便宜:中国游客日本人均消费超1.3万 全球最高

5月7日消息,今年4月底,日元兑美元汇率跌至34年来新低,这也使得日本成为五一出境游最大赢家。

行情 1 2024-05-07
华为nova 12系列推送鸿蒙OS 4.2正式版:系统更流畅

华为nova 12系列推送鸿蒙OS 4.2正式版:系统更流畅

5月7日 消息:华为近日为nova12 系列智能手机带来了鸿蒙OS 4. 2 正式版升级,版本号标注为4.2.0.123。此次更新不仅优化了部分机型的相机性能,更全面提升了系统流畅度,为用户带来更为出色的使用体验。

行情 2 2024-05-07
大模型不需要眼前的共识

大模型不需要眼前的共识

确定性的机会指向的往往是需求场景,需要实干家,不断优化体验;而不确定的机会往往依托于技术创新,需要冒险家,探索出一条通向应用的路径。这也是为什么人们不会惊讶于雷军下场造车的决心,却很难完全相信杨植麟在月之暗面创业过程中表现出来的技术理想 ...

行情 1 2024-05-07
英国635斤男子去世 埋葬需两块墓地:青少年时期暴饮暴食

英国635斤男子去世 埋葬需两块墓地:青少年时期暴饮暴食

在当地时间5月4日,年仅33岁的Jason Holton,因体重问题导致的器官衰竭不幸离世。他的体重被估计为惊人的700磅,相当于大约635斤,使他成为了英国体重最重的人之一。

行情 1 2024-05-07
远距出游受追捧!滴滴发布五一出行报告:跨城打车需求上涨99%

远距出游受追捧!滴滴发布五一出行报告:跨城打车需求上涨99%

快科技5月6日消息,滴滴官方近日公布了五一假期的出行报告,详细梳理了假期的出行情况。

行情 12 2024-05-06
索尼Xperia 1 VI真机亮相:骁龙8 Gen3加持

索尼Xperia 1 VI真机亮相:骁龙8 Gen3加持

据官方此前宣布,索尼将于5月17日举办Xperia新品发布会。虽然官方尚未透露具体的机型,但考虑到去年发布的Xperia 1 V,因此今年的活动很有可能推出新一代Xperia 1 VI。近日有外媒发布了该机的高清渲染图。

行情 7 2024-05-06
微软发布AI天气预测模型 能精准预报未来30天天气

微软发布AI天气预测模型 能精准预报未来30天天气

站长之家(ChinaZ.com)5月6日 消息:微软Start团队近日宣布,他们开发出了一种全新的数据驱动AI天气预测模型,该模型能够准确预测未来30天的天气情况。这一研究成果不仅在预报准确率上取得了显著提升,同时在计算效率上也实现了巨大突破。

行情 13 2024-05-06
高铁上2女子因遮光帘拉扯40分钟 12306回应

高铁上2女子因遮光帘拉扯40分钟 12306回应

快科技5月6日消息,近期在一列从合肥开往太原的G3136高铁列车上发生了一起令人哑然的事件。

行情 6 2024-05-06
“玩”出百万粉丝,抖音小游戏成创作者新风口?

“玩”出百万粉丝,抖音小游戏成创作者新风口?

你是否在刷抖音时刷到过类似的短视频:不算精致的游戏画面中坐着一位小姐姐,她面前摆放了一大盆米饭,周围还散布着各种各样的“小摆件”,屏幕上的标题是《如何让小姐姐吃饱饭》?

行情 5 2024-05-06