马斯克Colossus AI超算集群内部首曝:足足10万英伟达H100 GPU

科技 | 2024-10-30| 11

10月29日消息,YouTube视频博主 ServeTheHome 首次曝光了埃隆·马斯克 (Elon Musk)旗下人工智能企业xAI的Colossus ;AI 超级计算机集群,其集成了100000个英伟达(NVIDIA)H100 GPU,号称是目前全球最强大的AI超级计算机集群。

早在今年7月下旬,马斯克就在X平台上宣布,自己已经启动了世界上最强大的 AI 集群。这座AI集群从开始建设到完成组装仅花了122天就完成了,目前已经上线运行了约3个月。

根据ServeTheHome曝光的信息来看,庞大的Colossus ;AI超级计算机集群采用的是超威电脑(Supermicro)的服务器,其基于NVIDIA HGX H100方案,每个服务器中拥有8个H100 GPU,封装在 Supermicro 的 4U 通用 GPU 液冷系统内,为每个 GPU 提供简单的热插拔液冷。

这些服务器装载在机架内,每个机架可容纳 8 台服务器,也就是说每个机架内有 64 个 GPU。1U 歧管夹在每个 HGX H100 之间,提供服务器所需的液体冷却。每个机架的底部是另一个 Supermicro 4U 单元,这次配备了冗余泵系统和机架监控系统。

△四组 xAI 的 HGX H100 服务器机架,每组可容纳八台服务器。(图片来源:ServeTheHome)

△xAI Colossus GPU 服务器的后部访问。每台服务器有 9 根以太网电缆,每台服务器有 4 个电源。电源和液体冷却软管也可见。(图片来源:ServeTheHome)

这些机架以 8 个为一组配对,每个阵列有 512 个 GPU。每台服务器都有四个冗余电源,GPU 机架的后部露出三相电源、以太网交换机和一个提供所有液体冷却的机架大小的歧管。

Colossus 集群中有超过 1500 个 GPU 机架,或近 200 个机架阵列。据英伟达首席执行官黄仁勋称,这 200 个阵列的 GPU 仅用了三周时间就完成了安装。

由于 AI 超级集群不断训练模型的高带宽要求,xAI 在其网络互连性方面提供了超大的带宽。

目前每个显卡都有一个 400GbE 的专用 NIC(网络接口控制器),每台服务器还有一个额外的 400Gb NIC。这意味着每台 HGX H100 服务器都有每秒 3.6 TB 的以太网速率。整个集群都在以太网上运行,而不是 InfiniBand 或其他在超级计算领域标配的连接。

△仰望一大片的黄色以太网电缆,将 xAI Colossus 集群连接在一起。多层过宽的电缆线路嵌入天花板中。(图片来源:ServeTheHome)

△xAI 的 Colossus CPU 计算服务器,看起来与该站点中也广泛使用的 Supermicro 存储服务器完全相同。(图片来源:ServeTheHome)

当然,像 xAI 旗下Grok 3 聊天机器人这样基于训练 AI 模型的超级计算机需要的不仅仅是 GPU 才能运行。

Colossus集群当中的存储和 CPU 计算机服务器的详细信息仍未曝光,不过这些服务器也大多采用 Supermicro 机箱。一波又一波的 NVMe 转发 1U 服务器内部带有某种 x86 平台 CPU,可容纳存储和 CPU 计算,还具有后入式液体冷却功能。

另外,在该超级计算机集群的外面,还可以看到一些大量捆绑的特斯拉 Megapack 电池(每个最多可容纳 3.9 MWh)。

该电池阵列的是为了应对突发停电的临时备用电源,其可以在毫秒之间快速提供供电,相比柴油发电机反应要快得多,可以使得有足够时间去启动其他备用电源。

以上就是关于【马斯克Colossus AI超算集群内部首曝:足足10万英伟达H100 GPU】的相关消息了,希望对大家有所帮助!

Tags: ,

相关推荐相关推荐

电车电池更换成本将低于燃油车发动机:2026年动力电池成本将下降近50%!

电车电池更换成本将低于燃油车发动机:2026年动力电池成本将下降近50%!

12月9日消息,近日研究机构Recurrent的报告显示,电动汽车电池的成本正以惊人的速度下降。

科技 2 2024-12-09
荣耀平板V9官宣:12月16日发布 超轻薄AI板

荣耀平板V9官宣:12月16日发布 超轻薄AI板

12月9日消息,荣耀平板V9今天正式官宣,将于12月16日发布。 新机slogan为轻了,AI了,主打的是超轻薄机身,以及各种AI能力。 外观方面,新机将搭载四等边的无开孔屏幕,前后纯平的方案,机身应该是金属一体化设计。 后摄模组为双圆造型,上方是一颗单摄 ...

科技 3 2024-12-09
女子花2千换芯片商家竟没给换 店铺:技术问题你没必要知道

女子花2千换芯片商家竟没给换 店铺:技术问题你没必要知道

12月9日消息,据报道,北京孙女士的遭遇引发了公众对电子产品维修行业的关注。她声称在一家电子维修店铺花费了2000元更换GPU后,商家却拒绝提供旧件,并声称其已被磨碎。

科技 7 2024-12-09
小米股价冲上30港元 创近4年新高

小米股价冲上30港元 创近4年新高

12月9日消息,小米股价今日飙升至30港元,盘中最高触及30.5港元,创下近四年来的新高。上一次小米股价达到这一水平还是在2021年2月。

科技 8 2024-12-09
预售11万起 奇瑞iCAR V23上市定档:今年最高颜值新车来了

预售11万起 奇瑞iCAR V23上市定档:今年最高颜值新车来了

12月9日消息,奇瑞iCAR今日宣布,iCAR V23上市定档12月16日,此前,新车在广州车展上开启预售,预售价格11-15万元。

科技 6 2024-12-09
最美白色手机!红魔10 Pro白昼武士来了:业内唯一前后纯平

最美白色手机!红魔10 Pro白昼武士来了:业内唯一前后纯平

12月9日消息,红魔官方今天宣布,红魔10 Pro系列白昼武士正式开启预约,将于12月12日上午10点进行全款预售,定价4999元起。

科技 5 2024-12-09
重现线上第一的荣耀 赵明称将不计成本打造荣耀GT系列

重现线上第一的荣耀 赵明称将不计成本打造荣耀GT系列

自10月31日荣耀Magic 7系列发布会上,荣耀CEO赵明宣布成立荣耀GT系列以来,有关新机的消息就不绝于耳。

科技 2 2024-12-09
全年发送超576万次!B站发布2024年度弹幕出炉:“接”

全年发送超576万次!B站发布2024年度弹幕出炉:“接”

12月9日消息,今日,B站与中国文物交流中心、中国文字博物馆联合发布了2024年度弹幕——接。

科技 4 2024-12-09
联想Legion Go S掌机价格首曝!低于Legion Go

联想Legion Go S掌机价格首曝!低于Legion Go

12月9日消息,据媒体报道,有经销商透露称联想即将推出的Legion Go S掌机售价为600欧元(约合4607元人民币),不过目前尚不明确是建议零售价还是预估值,但相比原版Legion Go掌机价格更低。

科技 4 2024-12-09
《黑神话:悟空》动捕设备是纯国产!《斗破苍穹》《长津湖》也用它

《黑神话:悟空》动捕设备是纯国产!《斗破苍穹》《长津湖》也用它

距《黑神话:悟空》发售至今已有三个多月的时间,游戏的超高质量让国内外玩家赞叹不已,其中NPC的动作更是惟妙惟肖。

科技 2 2024-12-09