划重点:
1. 🚀Convolutional Reconstruction Model(CRM)是一种高保真度的前馈单图像到3D生成模型,充分考虑了稀疏3D数据的限制,强调了在网络设计中整合几何先验的必要性。
2. 🖼️CRM通过生成六个正交视图图像,经过卷积U-Net处理,利用其强大的像素级对齐能力和显著的带宽,创建了高分辨率的三平面
3. ⏱️ 模型在仅10秒内从图像中生成高保真纹理网格,无需任何测试时优化。
3月12日 消息:近期,清华大学的研究团队在图像处理领域取得了重要进展,他们提出了一种名为Convolutional Reconstruction Model(CRM)的前馈式单图像到3D纹理网格生成模型。与传统的大型重建模型(LRM)相比,CRM在生成速度上表现出色,同时克服了基于Transformer的方法在几何先验方面存在的不足。
传统的3D生成模型虽然在生成速度上有所突破,但由于Transformer方法未充分利用三平面组件的几何先验,导致在有限的3D数据和缓慢的训练情况下质量不佳。为了解决这一问题,研究团队提出了CRM,一个高保真度的前馈式单图像到3D生成模型。
CRM的关键观察是,三平面的可视化呈现出六个正交图像的空间对应关系。模型首先从单个输入图像生成六个正交视图图像,然后将这些图像输入卷积U-Net进行处理,利用其强大的像素级对齐能力和显著的带宽,创建高分辨率的三平面。与此同时,CRM采用Flexicubes作为几何表示,实现对纹理网格的直接端到端优化。
整个推理过程仅需要在A800GPU上花费约10秒的时间,其中包括U-Net的前向传播(不到0.1秒)、查询表面点的UV纹理和文件I/O。与传统方法相比,CRM从图像中仅需短短的时间就能生成高保真度的纹理网格,无需在测试时进行任何优化。
图中,展示了整个方法的流程。输入图像首先经过多视图图像扩散模型,生成六个正交图像。然后,另一个扩散模型用于生成基于这六个图像的CCMs(conditional convolutional masks)。最后,这六个图像和CCMs一起输入CRM,重建最终的纹理网格。
研究团队通过生成的纹理网格展示了CRM的性能,包括玫瑰、青蛙、大象、哆啦A梦、猫和校车等互动网格。同时,CRM还展示了其在创建类似乐高风格的对象方面的潜力。
在与现有方法的比较中,CRM展现出了卓越的性能和效率。研究团队通过BibTeX引用了他们的工作,这表明了对该模型的高度认可。
这一项研究为单图像到3D纹理网格的生成提供了一种新的前馈式模型,具有卓越的速度和质量,为图像处理领域带来了新的可能性。
项目入口:https://top.aibase.com/tool/crm
快科技5月7日消息,利民Thermalright最新推出的寒冰装甲Frozen Warframe PRO 360水冷散热器,以其独特的设计和强大的性能,为电脑散热领域带来了新的突破。这款水冷散热器的ARGB版到手价仅为539元。
快科技5月7日消息,据媒体报道,法拉第未来(Faraday Future)今日下午发布声明,明确表示目前没有计划任命贾跃亭为公司的联席CEO。
快科技5月7日消息,中国铁路官方消息,京广高铁武汉至广州段(以下简称武广高铁”)的安全标准示范线建设工程已成功完成拉通试验。
快科技5月7日消息,今天,moto X50 Ultra获得入网许可,该机的素颜照正式公布。 如图所示,moto X50 Ultra采用曲面屏方案,后置矩阵三摄,包含主摄、超广角和潜望长焦。 该机对应的国际版机型是moto Edge 50 Ultra,后者已在海外发布,两款机型的系统有区 ...
快科技5月7日消息,《英雄联盟》2024季中冠军赛(以下简称MSI”)胜败分组赛将今天17:00开打,首战由TES战队迎战TL战队。
快科技5月7日消息,RTX 50系列今年底发布基本没什么悬念,但具体什么时候、何种规格和性能都悬而未决,甚至发布顺序都可能不同以往,第一个登场的不一定就是RTX 5090。
快科技5月7日消息,今天,realme徐起为真我GT Neo6预热,该机支持120W闪充,配备5500mAh电池。
快科技5月7日消息,据媒体报道,在一次访谈中,SpaceX CEO埃隆马斯克被问及人工智能是否会加速他在太空探索方面的努力,他表示:还没看到它有什么用。”
快科技5月7日消息,今天,联发科天玑9300 平台正式亮相。 作为首批天玑9300 终端,iQOO Neo9S Pro现身天玑开发者大会,这是安卓阵营性能最强悍的双芯旗舰。 它不仅搭载了天玑9300 平台,同时配备iQOO自研电竞芯片Q1。 据悉,iQOO Q1芯片自研超分技术,采 ...
站长之家(ChinaZ.com)5月7日 消息:随着AI技术的不断进步,海外博主“Alasdair Mann”利用AI音乐工具Suno AI为路人即兴创作音乐,让更多人体验到了AI的乐趣。这一创新的尝试不仅在社交媒体上引起了广泛关注,还为AI音乐创作潮流增添了新的活力。
快科技5月7日消息,iQOO今日官宣Neo9S Pro将于本月正式亮相,首批搭载天玑9300 芯片。
快科技5月7日消息,近日,有媒体分享了特斯拉和SpaceX的CEO埃隆马斯克的日常。 报道称,马斯克在凌晨3点睡觉,第二天早上9点起床,每天大约6个小时的睡眠,但令人意想不到的是,这位亿万富翁总是以吃甜甜圈的方式开始新的一天。 马斯克曾在社交媒体表示, ...
“不好意思,刚刚和Kimi聊的人太多了。Kimi有点累了,可以晚点再问我一遍。”近期正在赶毕业论文的娄晓彤,时不时仍会收到AI助手Kimi无法使用的提示。
站长之家(ChinaZ.com)5月7日 消息:近日,B站官方发起了一项名为“AI故事创作大赛”的挑战赛,鼓励广大网友利用AI技术辅助生成具有大型纪录片风格的短视频。这一活动迅速吸引了大量网友的参与和关注。