开源大模型AI代理操作系统:像Windos一样,操控AI代理

行情 | 2024-04-03| 11
开源大模型AI代理操作系统:像Windos一样,操控AI代理

去年,AutoGPT的出现让我们见识到了AI代理强大的自动化能力,并开创了一个全新的AI代理赛道。但在子任务调度、资源分配以及AI之间协作还有不少的难题。

因此,罗格斯大学的研究人员开源了AIOS,这是一种以大模型为核心的AI代理操作系统。可有效解可决随着AI代理的增加,资源调用率低的难题,同时能促进代理之间的上下文切换、实现并发执行代理并维护代理的访问控制。

开源地址:https://github.com/agiresearch/AIOS

论文地址:https://arxiv.org/abs/2403.16971

AIOS的架构和我们使用的PC操作系统差不多,主要分为应用层、内核层和硬件层三大块唯一不同的是,AIOS在内核层中构建了一个专门管理与大模型相关任务的内核管理器。

应用层主要由代理应用程序构成(例如,旅行代理、数学代理、代码代理等);内核层由传统OS系统和大模型相结合开发,OS系统主要用于文件管理,大模型则用于AI代理的调度和管理;

硬件层由CPU、GPU、内存和外设等硬件设备构成,但是大模型的内核无法与硬件直接交互,而是通过内核层提供的调用来间接管理硬件资源,以确保系统完整性和效率。

AI代理调度器

AI代理调度器主要负责对大模型的代理请求进行合理调度和优化,以充分利用大模型的计算资源。当多个代理同时向大模型发起请求时,调度器需根据特定调度算法对请求进行排序,避免单一代理长时间占用大模型而导致其他代理长时间等待。

此外,AIOS的设计还支持更复杂的调度策略,例如,考虑代理请求间的依赖关系,以实现更优化的资源分配。

在没有调度指令时,代理需按顺序逐一执行任务,后续代理需等待较长时间;而采用调度算法后,各代理的请求能够交错并行执行,显著降低了整体等待时间和响应延迟

上下文管理器

由于大模型生成过程普遍采用Beam Search等启发式搜索,会逐步构建搜索树并评估不同路径最终给出结果。

但在生成过程中大模型若被调度器中断,为避免所有中间状态丢失而浪费之前的计算,上下文管理器会对当前的Beam Search树状态(包括各路径概率等)进行快照保存。

当大模型重新获得执行资源后,上下文管理器能够准确地从中断处恢复之前的Beam Search状态,继续生成剩余部分,确保最终结果的完整性和准确性。

此外,多数大模型存在上下文长度限制,而实际场景中的输入上下文往往会超出该限制。为解决这一难题,上下文管理器集成了文本摘要等功能,能够对过长的上下文进行压缩或分块处理,使大模型能够高效理解并处理长上下文信息。

内存管理器

内存管理器主要负责管理短期内存资源,为每个AI代理的交互日志和中间数据提供高效的临时存储。

当AI代理处于等待执行或正在运行状态时,其所需的数据将被保存在由内存管理器分配的内存块中。一旦代理任务结束,相应的内存块也会被系统回收,以确保内存资源的高效利用。

AIOS会为每个AI代理分配独立的内存,并通过访问管理器来实现不同代理之间内存隔离。未来,AIOS会引入更复杂的内存共享机制和层级缓存策略,以进一步优化AI代理的整体性能。

本文素材来源AIOS论文,如有侵权请联系删除

标签:, ,

相关推荐

努比亚Z60 Ultra星夜版震撼来袭 独特画作设计成就艺术之作

努比亚Z60 Ultra星夜版震撼来袭 独特画作设计成就艺术之作

【btna科技资讯】4月23日消息,努比亚近日正式公布了备受瞩目的Z60 Ultra星夜版智能手机的全球发售日期,该机型将于4月28日14:00正式面向全球客户开放购买。这款手机的最大亮点在于其背面采用了梵高风格的独特画作设计,为用户带来了前所未有的视觉盛宴。 ...

行情 3 2024-04-23
vivo X系列新品携手蔡司,首发蓝图影像技术

vivo X系列新品携手蔡司,首发蓝图影像技术

【btna科技资讯】4月23日消息,vivo品牌副总裁兼品牌与产品战略总经理贾净东今日正式宣布,vivo迎来了一位全新的蓝科技成员——BlueImage蓝图影像。

行情 2 2024-04-23
苹果秘密收购Datakalab,iOS 18将迎来重磅AI升级?

苹果秘密收购Datakalab,iOS 18将迎来重磅AI升级?

【btna科技资讯】4月23日消息,苹果公司近日完成了对巴黎人工智能初创公司Datakalab的收购,意在加强其设备上的人工智能工具。

行情 2 2024-04-23
高通骁龙8s Gen 3加持,Nothing Phone (3) 七月盛夏热力上市

高通骁龙8s Gen 3加持,Nothing Phone (3) 七月盛夏热力上市

【btna科技资讯】4月23日消息,据Android Headline最新报道,备受期待的Nothing Phone (3)即将作为Nothing

行情 2 2024-04-23
iPhone销量下滑19%:苹果面临华为等竞品压力

iPhone销量下滑19%:苹果面临华为等竞品压力

【btna科技资讯】4月23日消息,近日市场调研机构Counterpoint发布报告指出,苹果在中国市场的iPhone销量于今年第一季度显著下滑,下降幅度高达19%。同时,全球范围内的统计数据由调研机构IDC公布,显示苹果iPhone在第一季度的全球出货量同比下降了9.6%。 ...

行情 2 2024-04-23
旗舰体验再升级 三星Galaxy S24陪你畅游五一假期

旗舰体验再升级 三星Galaxy S24陪你畅游五一假期

【btna科技资讯】4月23日消息,随着五一假期的临近,许多都市年轻人正计划逃离喧嚣,投入大自然的怀抱。而对于这些寻求放松的旅行者来说,一款兼具精致与性能的智能手机是必不可少的旅伴。在众多手机中,三星Galaxy

行情 2 2024-04-23
24.98万起!余承东:问界新M5将于5月15日起批量交付

24.98万起!余承东:问界新M5将于5月15日起批量交付

快科技4月23日消息,今天下午,问界新M5正式发布。 余承东宣布,问界新M5将于5月15日开启批量交付。 据悉,问界新M5共推出三款车型: 增程Max版(后驱)售价24.98万; 纯电Max版(后驱)售价26.98万; 增程Max RS版(四驱)售价27.98万。 余承东表示,即 ...

行情 3 2024-04-23
699元!理想汽车隐私窗帘开售:有效阻挡车外光线

699元!理想汽车隐私窗帘开售:有效阻挡车外光线

快科技4月23日消息,今天理想汽车全车隐私帘正式开售,可有效阻挡车外光线,强化视听体验,售价699元。

行情 5 2024-04-23
纯电城市用一周 问界新M5增程版续航再提升:最远能跑1440公里

纯电城市用一周 问界新M5增程版续航再提升:最远能跑1440公里

快科技4月23日消息,问界新M5发布会正在进行中,余承东表示,新M5增程版续航能力再得到了提升。

行情 3 2024-04-23
苹果iPhone第一季度在华销量大跌19%:2020年以来最差成绩!

苹果iPhone第一季度在华销量大跌19%:2020年以来最差成绩!

快科技4月23日消息,据市场研究机构Counterpoint最新数据显示,苹果公司第一季度iPhone在中国的销量下降19%,为2020年以来最差季度表现。

行情 4 2024-04-23
微信二维码