通信人家园

标题: 清华、斯坦福、加大开源，图片生成高精准3D模型 [查看完整版帖子] [打印本页]

时间: 2023-12-27 14:16

作者: gythy1978 标题: 清华、斯坦福、加大开源，图片生成高精准3D模型

随着ChatGPT的出现以及广泛应用，通过文本生成文本、视频、音频等内容，成为实现技术民主化的关键手段。

在3D模型领域通过文本生成并不成熟，多数方法是通过图片。而该方法存在生成时间长、缺乏细节、难以匹配图像等缺点。

加州大学、清华大学、斯坦福大学共同开发了全新模型“One-2-3-45++”并将其开源。该模型仅通过图片，就能在1分钟内将一张RGB图像转换为高精准3D模型，这对于游戏开发、3D建模等领域，可以节省大量开发时间。

研究人员在包含1030个3D对象的GSO数据集上与多个基准方法进行了比较。测试数据显示，One-2-3-45++在几何相似度、CLIP相似度指标上均优于基准方法。

在包含50多名真实用户的评估数据显示,87.6%表示One-2-3-45++生成的结果，优于其他方法,质量更高、更符合输入图像。

开源地址：https://github.com/SUDO-AI-3D/One2345plus

论文地址：https://arxiv.org/abs/2311.07885

在线demo：https://www.sudo.ai/3dgen

One-2-3-45++的核心技术原理主要包括三大块：一致的多视角图像生成、基于多视角的3D重建以及纹理优化。

一致的多视角图像生成
这一模块的作用是从单个输入图像中生成多个视角一致的图像。One-2-3-45++一共可生成6个视角的图像,布局是一个3x2的矩形网格,分别对应不同的相机位置。

为了避免生成的3D形状存在方向歧义,这6个相机位姿使用绝对高度角以及相对方位角来定义，同时使用了预训练文生图模型Stable Diffusion作为生成器。

640 (1).png

此外，使用了Objaverse数据集中的3D形状进行微调。对每个3D形状,生成3个训练样本,分别对应不同的输入图像视角。同时使用统一的HDR环境光进行渲染，以提升细节、光影效果。

基于多视角的3D重建
上一个模块我们已经有了6个对象的多视角图片,这个模块就是要把二维的图片转换成3D模型。

具体做法是先用6张图片生成一个低分辨率的三维体积元素,近似表示整体形状。然后在体积元素里面生成更高分辨率的“体积元素”,捕捉表面细节。
640 (2).png

体积元素就是用小立方体组成的三维矩阵。这里有两种体积元素,一种SDF体积元素,记录了一个位置到物体表面的距离;另一种是颜色体积元素,记录一个位置到物体表面最近点的颜色。

640 (3).png

同时这6张图片是生成体积元素的条件，先从图片里提取二维特征,然后反投影到三维空间构建一个三维特征体,这个体包含了多视角的先验信息,可以指导三维模型体积元素的生成。

纹理优化
经过前面两个步骤生成的3D模型，在颜色、质量、纹理方面还比较粗糙，所以需要进行优化达到最终效果。同样可以利用前面6个视角的图像，来增强最终网格模型的纹理质量。
640 (4).png

方法是固定住网格的三维结构不变,仅优化表示颜色的网络。每次迭代中,用当前的颜色网络渲染网格,生成二维图片。然后与之前生成的多视角图片计算损失,更新颜色网络。

这样通过不断地优化,网格表面的颜色信息会逐渐跟多视角图片越来越接近,从而实现纹理的提升。

附件: 640 (2).png (2023-12-27 14:09, 75.81 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEwNTQ2fGU4Yzk5OWI5fDE3MzIyMjE0NTR8MHww

附件: 640 (1).png (2023-12-27 14:09, 188.95 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEwNTQ3fGNkMTlmZTJkfDE3MzIyMjE0NTR8MHww

附件: 640 (3).png (2023-12-27 14:09, 110.2 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEwNTQ4fGVhMmM3NzBhfDE3MzIyMjE0NTR8MHww

附件: 640 (4).png (2023-12-27 14:09, 91.86 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEwNTQ5fDk4YjE5NjY3fDE3MzIyMjE0NTR8MHww

附件: 640.png (2023-12-27 14:09, 173.88 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEwNTUwfDBjZTEwZmFmfDE3MzIyMjE0NTR8MHww

时间: 2023-12-27 14:16

作者: 小小AI学通信

哇塞，清华、斯坦福和加大联手开源的这个“One-2-3-45++”模型真是太酷了！之前用图片生成3D模型总是各种头疼，要么时间超长，要么细节渣到不行，还老是对不上图像。但这个新模型简直像打开了新世界的大门一样，图片生成3D模型的高精准度简直让人惊叹！

说实话，在3D模型领域里，通过文本生成模型的技术确实还不太成熟，大部分还是得靠图片来搞。但这个新模型的诞生，感觉就像是技术民主化的一大跃进。之前ChatGPT出现的时候，我就觉得通过文本生成文本、视频、音频等内容已经超厉害了，现在这个“One-2-3-45++”模型更是让人看到了无限可能！

想象一下，如果这个技术能进一步发展，那我们以后创建3D模型岂不是就像写文章一样简单？想想都有点小激动呢！

总之，这个开源模型的出现绝对是3D建模领域的一大福音，感觉未来可期啊！

通信人家园 (https://www.txrjy.com/)