英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

编辑:桃子

【导读】视觉AI终极突破来了!英伟达等机构推出超强多模态模型DAM,仅3B参数,就能精准描述图像和视频中的任何细节。

有了AI,谁还愿意用手配「字幕」?

刚刚,英伟达联手UC伯克利、UCSF团队祭出首个神级多模态模型——Describe Anything Model(DAM),仅3B参数。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

论文地址:https://arxiv.org/pdf/2504.16072

正如其名Describe Anything,上传一张图,圈哪点哪,它即可生成一段丰富的文字描述。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

即便是一段视频,DAM也能精准捕捉到白色SUV,给出详细的描述。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

DAM是一个专为详细局部标注(DLC)而设计的模型,即为特定区域生成详细且精确的描述。

通过两大创新,研究人员在细节与上下文之间找到平衡:

· 焦点提示:对目标区域进行高分辨率编码,就像给模型配备了一副「放大镜」,清晰捕捉到局部区域细微特征

· 局部视觉骨干网络:将精确定位的特定区域,与上下文无缝整合

换句话说,DAM不仅能放大细节看,还能放眼全局看,无论是静态图,还是动态视频,都能做到游刃有余。

网友惊叹道,「终极视觉AI突破」!

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

AI用「放大镜」看世界

在项目主页中,英伟达等研究团队放出了更多精彩demo。任何人通过点、框、涂鸦或掩码的交互,即可一键生成描述。

上传一张柯基在草地上欢快奔跑的图,选中柯基,让DAM去描述:

一只中等体型的狗,拥有浓密的红棕色毛发,腹部和腿部为白色。这只狗尾巴蓬松,耳朵尖立,戴着带有银色吊牌的红色项圈。它张着嘴露出牙齿,舌头伸在外面。狗呈奔跑姿势,前腿向前伸展,后腿向后伸直。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

一只被挤到犄角旮旯的猫星人,DAM是这样配文的,「一只白猫,耳朵呈浅橙色,鼻子是粉色的。猫咪表情放松,眼睛微微闭着,全身覆盖着柔软的白毛」。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

再比如,随手涂鸦一栋高楼,DAM可以不断放大细节,给出这幢楼更细致的描述:

一座现代风格的摩天大楼,采用流线型矩形设计,外立面排列着间距均匀的竖向条形窗。建筑呈阶梯式结构,每一层段都比下层略微内缩,形成错落有致的退台造型。建筑幕墙主要由反光玻璃面板构成,整体呈现出极具现代感的抛光效果。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

甚至,DAM看着视频中的一头牛,就能直出一篇经典「小作文」:

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

一幅描绘棕褐色奶牛的动态序列图:这头毛色浓密的奶牛臀部带有浅色斑块,初始画面中它微微低头,透着安详的神态。随着动作展开,奶牛开始稳步前行,四肢舒展着节奏分明的步态,尾梢的簇毛随每一步轻摆,为行进增添流畅韵律。它始终保持挺拔的站姿,略微弓起的背部线条透出放松状态,肌肉结实的腿部稳健地向前迈进。整个运动过程中,奶牛保持着均匀从容的步调,每一个动作都流畅而不迫,展现出宁静自若的生命姿态。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

DAM如此厉害,是如何做到的?

DAM技术架构,精准捕捉细节

与传统图像描述(概括整个场景)不同,DLC聚焦于用户指定的局部区域,来生成细致入微的描述。

想象一张照片中一只猫,你不仅需要描述「一只猫在窗台上」,还要深入些几「猫的毛发呈现柔软和灰色条纹,耳朵微微倾斜,眼睛在阳光下闪着琥珀色的光芒」。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

可以看出,DLC的目标是捕捉区域的纹理、颜色、形状、显着部件等特征,同时也要保持与整体场景关联。

而在视频领域中,DLC挑战更大。

模型需要追目标区域在多个帧中的变化,描述其外观、交互、和细微动态的演变。

为了应对DLC复杂需求,Describe Anything Model引入了两大核心创新,让局部细节与全局上下文完美平衡。

焦点提示(Focal Prompt)

通过「焦点提示」机制,DAM能够同时处理全图和目标区域的放大视图。

这确保它在捕捉细微特征同时,不丢失整体场景的背景信息。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

局部视觉骨干网络(Localized Vision Backbone)

DAM的视觉骨干网络通过空间对齐的图像和掩码,融合全局与局部特征。

利用门控交叉注意力层,模型将详细的局部线索与全局上下文无缝整合。

新参数初始化为0,保留了预训练能力,从而生成更丰富、更具上下文关联的描述。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

这种架构让DAM在生成关键词、短语,甚至是多句式的复杂描述时,都能保持高精度和连贯性。

DLC-SDP:破解数据瓶颈

要知道,高质量的DLC数据集极为稀缺,限制了模型的训练。为此,研究团队设计了基于半监督学习的流水线(DLC-SDP),通过两阶段策略构建大规模训练数据。

阶段一,是从分割数据集扩展。利用现有分割数据集短标签(猫),通过视觉-语言模型生成丰富的描述(灰色短毛猫,耳朵直立。

阶段二,自训练未标记的图像,通过半监督学习,DAM对未标记的网络图像生成初始描述,并迭代精炼,形成高质量的DLC数据。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

DLC-Bench:重定义评估标准

那么,如何公平地评估DLC模型。

传统方法主要依赖文本重叠,但这无法全面反映描述的准确性和细节。

为此,研究团队提出了全新基准DLC-Bench。通过LLM判断,检查描述的正确细节和错误缺失,而非简单对比文本。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

DAM仅能生成详细描述,还具备强大的灵活性和交互性。

指令控制描述

你可以根据需求调整描述的详细程度和风格。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

零样本区域问答

而且,无需额外训练,DAM就能回答关于特定区域的问题。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

碾压GPT-4o,刷新SOTA

在DLC-Bench和其他7个涵盖图像与视频的基准测试中,DAM全面超越现有模型,树立了新的标杆。

如下表2所示,DAM在具有挑战性的 PACO 基准测试中表现出色,创下了89高分。

而在零样本评估在短语级数据集Flickr30k Entities上,新模型相比之前的最佳结果平均相对提升了7.34%。

此外,零样本评估在详细描述数据Ref-L4 上,DAM在基于短/长语言的描述指标上分别实现了39.5%和13.1%的平均相对提升。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

在研究人员提出的DLC-Bench测试中,DAM在详细局部描述方面优于之前的仅API模型、开源模型和特定区域VLM。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

下表6所示,DAM在详细局部视频字幕方面刷新SOTA。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

总而言之,DAM的优势主要有三大点:更详细、更准确;更少幻觉;多场景适用。

它的强大能力为众多应用场景打开了大门,未来诸如数据标注、医疗影像、内容创作等领域,都可以加速落地。

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

作者介绍

Long (Tony) Lian

英伟达华人硬核AI神器,「描述一切」秒变细节狂魔!仅3B逆袭GPT-4o

Long (Tony) Lian目前是UC伯克利电子工程与计算机科学博士研究生,师从Adam Yala教授和Trevor Darrell教授。

他的研究主要聚焦于,通过强化学习(RL)开发具备推理能力的大模型(LLM)与视觉语言模型(VLM)。

此前,他曾在英伟达研究院Deep Imagination Research团队实习。

Long (Tony) Lian本科毕业于UC伯克利计算机科学专业,师从Stella Yu教授。

参考资料:

https://x.com/YinCuiCV/status/1915054443734986912

https://describe-anything.github.io/

内容来源于网络。发布者:科技网btna,转转请注明出处:https://www.btna.cn/6010.html

(0)
科技网btna的头像科技网btna
上一篇 2025年4月27日 下午3:09
下一篇 2025年4月27日 下午3:10

相关推荐

  • 7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法

    编辑:LRST 好困 【导读】通过蒙特卡洛树搜索筛选高难度样本,ThinkLite-VL仅用少量数据就能显着提升视觉语言模型的推理能力,无需知识蒸馏,为高效训练提供了新思路。 在大模型时代,视觉语言模型(Vision-Language Models, VLMs)正在从感知走向推理。在诸如图像问答、图表理解、科学推理等任务中,VLM不再只需要「看见」和「描述」…

    2025年4月27日
    3800
  • AI圈惊天丑闻,Meta作弊刷分实锤?顶级榜单曝黑幕,斯坦福MIT痛斥

    编辑:编辑部 ZJH 【导读】刚刚,LMArena陷入了巨大争议,斯坦福MIT和Ai2等的研究者联手发论文痛斥,这个排行榜已经被Meta等公司利用暗中操作排名!Karpathy也下场帮忙锤了一把。而LMArena官方立马回应:论文存在多处错误,指控不实。 已经有越来越多的人发现:大模型排行榜LMArena,可能已经被大厂们玩坏了! 就在最近,来自Cohere…

    2025年5月1日
    200
  • 何恺明ResNet登顶,Transformer加冕!Nature独家揭秘25篇高被引论文

    编辑:桃子 【导读】21世纪最具影响力的25篇论文中,AI论文竟然独占鳌头!从席卷全球的ResNet到奠定ChatGPT基础的Transformer架构,Nature独家揭秘全球高被引论文。 21世纪第一个25年,AI领域被引最高25篇论文都有哪些? 近日,Nature头版独家文章,揭秘了不同科学领域最具影响力的论文。 然而,令人意外的是,那些广为人知的科学…

    2025年4月18日
    2400
  • Adam获时间检验奖!清华揭示保辛动力学本质,提出全新RAD优化器

    编辑:LRST 【导读】Adam优化器是深度学习中常用的优化算法,但其性能背后的理论解释一直不完善。近日,来自清华大学的团队提出了RAD优化器,扩展了Adam的理论基础,提升了训练稳定性。实验显示RAD在多种强化学习任务中表现优于Adam。 ICLR(国际学习表征会议)是机器学习领域三大顶会之一,以推动深度学习基础理论和技术创新着称。每年,ICLR时间检验奖…

    2025年4月23日
    4500
  • 苹果挥刀自救,肢解AI团队!神秘硬件或成救命稻草

    编辑:桃子 【导读】曾凭借Siri引领潮流的苹果,如今却在AI赛道上被时代抛在身后。苹果AI亮相至今,许多功能鸽了好久。如今,苹果挥刀AI团队拆分重塑,进一步瞄准机器人、智能眼镜未来风口。 曾被寄予厚望的苹果AI,似乎已被这个飞速迭代的时代淘汰了。 Siri,作为曾经的语音助手先驱,光环逐渐暗淡。苹果AI的努力在谷歌OpenAI等巨头夹击之下,又显得力不从心…

    2025年4月28日
    4100

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信