苹果开发出能看懂屏幕上下文的人工智能技术ReALM

行情 | 2024-04-03| 19
苹果开发出能看懂屏幕上下文的人工智能技术ReALM

站长之家(ChinaZ.com)4月3日 消息:苹果开发出了一项能够实时理解和识别用户屏幕上显示内容的人工智能技术,而且无需依赖屏幕截图或图像数据输入。这项技术被称为ReALM(Real-time Analysis of Live Media),它使得在与用户交流的过程中,智能助手能够看到用户所看到的一切内容,并理解用户当前正在进行的活动,从而随时提供帮助。

论文地址:https://arxiv.org/pdf/2403.20329.pdf

ReALM技术通过将屏幕上的元素和布局转换为文本形式,然后利用这些文本信息来解析用户提出的与屏幕内容相关的查询或指令。比如用户可以说“打开我屏幕上显示的第一个应用”或“读取屏幕中央的新闻标题”,即使实际上该智能助手并未“看到”用户的屏幕。

这种能力特别适用于需要对屏幕上信息进行快速反应和处理的应用场景,比如虚拟助手和辅助技术等。通过ReALM技术,智能助手可以更加智能地理解用户的意图,并提供更加准确和个性化的帮助和服务。

这一举措预示着 iOS18将于2024年6月的 WWDC 发布,届时我们预计将推出全新的 Siri2.0,尽管目前尚不清楚该模型是否会及时集成到 Siri 中。这并不是苹果最近几个月在人工智能领域的首次尝试,公司推出了一系列新模型、工具以及合作伙伴关系,所有这些都预示着一家准备将人工智能作为业务中心的公司。

ReALM 是苹果快速增长的人工智能研究团队发布的最新消息,也是第一个专注于改进现有模型的消息,使其更快、更智能和更高效。

该公司声称,甚至在某些任务上优于 OpenAI 的 GPT-4。最新发布的详细信息来自苹果公司于周五发布的一篇新的开放研究论文,首次由 Venture Beat 在周一报道。对于它是否将实际成为 iOS18的一部分,苹果公司对此尚未置评。

ReALM 是如何工作的?

ReALM 与 GPT-4等模型相比要小得多。但这是因为它不需要做所有的事情。它的目的是为其他人工智能模型提供上下文,比如 Siri。

这是一个视觉模型,重新构建屏幕并标记每个屏幕实体及其位置。这创建了屏幕布局的基于文本的表示,可以传递给语音助手,为用户请求提供上下文线索。

在准确性方面,苹果表示,尽管体积更小、速度更快,ReALM 在一些关键指标上的表现与 GPT-4相当好。

这对 Siri 意味着什么?这意味着,如果未来版本的 ReALM 被部署到 Siri—— 甚至是这个版本 —— 那么当用户告诉它打开这个应用程序,或者告诉我这个图像中这个词的含义时,Siri 将更好地理解用户的意图。

它还将使 Siri 在不必完全部署像 Gemini 这样的大型语言模型的情况下具有更多的对话能力。当结合其他最近的苹果研究论文,允许 “一次性” 响应 —— 即 AI 可以从单个提示中获得答案 —— 这表明苹果仍在大力投资于 AI 助手领域,而不仅仅依赖外部模型。

相关推荐

努比亚Z60 Ultra星夜版震撼来袭 独特画作设计成就艺术之作

努比亚Z60 Ultra星夜版震撼来袭 独特画作设计成就艺术之作

【btna科技资讯】4月23日消息,努比亚近日正式公布了备受瞩目的Z60 Ultra星夜版智能手机的全球发售日期,该机型将于4月28日14:00正式面向全球客户开放购买。这款手机的最大亮点在于其背面采用了梵高风格的独特画作设计,为用户带来了前所未有的视觉盛宴。 ...

行情 3 2024-04-23
vivo X系列新品携手蔡司,首发蓝图影像技术

vivo X系列新品携手蔡司,首发蓝图影像技术

【btna科技资讯】4月23日消息,vivo品牌副总裁兼品牌与产品战略总经理贾净东今日正式宣布,vivo迎来了一位全新的蓝科技成员——BlueImage蓝图影像。

行情 2 2024-04-23
苹果秘密收购Datakalab,iOS 18将迎来重磅AI升级?

苹果秘密收购Datakalab,iOS 18将迎来重磅AI升级?

【btna科技资讯】4月23日消息,苹果公司近日完成了对巴黎人工智能初创公司Datakalab的收购,意在加强其设备上的人工智能工具。

行情 2 2024-04-23
高通骁龙8s Gen 3加持,Nothing Phone (3) 七月盛夏热力上市

高通骁龙8s Gen 3加持,Nothing Phone (3) 七月盛夏热力上市

【btna科技资讯】4月23日消息,据Android Headline最新报道,备受期待的Nothing Phone (3)即将作为Nothing

行情 2 2024-04-23
iPhone销量下滑19%:苹果面临华为等竞品压力

iPhone销量下滑19%:苹果面临华为等竞品压力

【btna科技资讯】4月23日消息,近日市场调研机构Counterpoint发布报告指出,苹果在中国市场的iPhone销量于今年第一季度显著下滑,下降幅度高达19%。同时,全球范围内的统计数据由调研机构IDC公布,显示苹果iPhone在第一季度的全球出货量同比下降了9.6%。 ...

行情 2 2024-04-23
旗舰体验再升级 三星Galaxy S24陪你畅游五一假期

旗舰体验再升级 三星Galaxy S24陪你畅游五一假期

【btna科技资讯】4月23日消息,随着五一假期的临近,许多都市年轻人正计划逃离喧嚣,投入大自然的怀抱。而对于这些寻求放松的旅行者来说,一款兼具精致与性能的智能手机是必不可少的旅伴。在众多手机中,三星Galaxy

行情 2 2024-04-23
24.98万起!余承东:问界新M5将于5月15日起批量交付

24.98万起!余承东:问界新M5将于5月15日起批量交付

快科技4月23日消息,今天下午,问界新M5正式发布。 余承东宣布,问界新M5将于5月15日开启批量交付。 据悉,问界新M5共推出三款车型: 增程Max版(后驱)售价24.98万; 纯电Max版(后驱)售价26.98万; 增程Max RS版(四驱)售价27.98万。 余承东表示,即 ...

行情 3 2024-04-23
699元!理想汽车隐私窗帘开售:有效阻挡车外光线

699元!理想汽车隐私窗帘开售:有效阻挡车外光线

快科技4月23日消息,今天理想汽车全车隐私帘正式开售,可有效阻挡车外光线,强化视听体验,售价699元。

行情 5 2024-04-23
纯电城市用一周 问界新M5增程版续航再提升:最远能跑1440公里

纯电城市用一周 问界新M5增程版续航再提升:最远能跑1440公里

快科技4月23日消息,问界新M5发布会正在进行中,余承东表示,新M5增程版续航能力再得到了提升。

行情 3 2024-04-23
苹果iPhone第一季度在华销量大跌19%:2020年以来最差成绩!

苹果iPhone第一季度在华销量大跌19%:2020年以来最差成绩!

快科技4月23日消息,据市场研究机构Counterpoint最新数据显示,苹果公司第一季度iPhone在中国的销量下降19%,为2020年以来最差季度表现。

行情 4 2024-04-23
微信二维码