通信人家园

标题: CVPR2025：单图变专业影棚，几何/材质/光影全搞定，数据代码开源  [查看完整版帖子] [打印本页]
时间:  2025-4-3 14:37
作者: tayun     标题: CVPR2025：单图变专业影棚，几何/材质/光影全搞定，数据代码开源

Neural LightRig团队 投稿
量子位 | 公众号 QbitAI
如何从一张普通的单幅图像准确估计物体的三维法线和材质属性，是计算机视觉与图形学领域长期关注的难题。

这种单图逆渲染任务存在严重的不确定性，传统方法通常需要多角度或多光源的拍摄条件，难以在日常场景中普遍应用。

近日，由香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合研发的论文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》。





其成果已被计算机视觉顶级会议CVPR 2025正式接收。





核心立意

Neural LightRig创新性地提出利用图像扩散模型（如Stable Diffusion）的强大先验信息，生成虚拟的多光照图像，从而有效解决单图估计法线和PBR材质过程中存在的不确定性问题。





研究团队首次提出通过微调预训练的图像扩散模型，生成不同光照条件下的一致性多光照图像序列，这种方法有效减少了单图估计过程中的内在不确定性。

混合条件策略：通过通道级别的图像拼接与参考注意力机制的结合，引入输入图像的先验信息，有效保证了生成图像的颜色和纹理细节的一致性。

双阶段微调策略：首先仅微调扩散模型的初始卷积层及注意力层，以稳定早期训练；随后以较低学习率微调整个模型，进一步提升模型生成多光照图像的质量。






2. 基于U-Net的大型G-buffer重建模型

利用扩散模型生成的多光照图像作为辅助信息，团队设计了一个基于U-Net架构的回归模型，以实现对物体表面法线和PBR材质属性（包括反照率、粗糙度、金属性）的高效精确估计。

显式光照条件输入：通过对光源位置进行球面坐标编码，使模型能显式地关联不同光照方向下的图像变化，更有效地预测物体表面属性。

优化目标设计：采用余弦相似度损失和均方误差(MSE)联合优化法线估计，材质估计则采用简单而有效的均方误差损失。

数据增强策略：针对扩散模型生成图像与真实渲染图像之间的领域差异，提出随机降质、亮度调整、光照方向扰动和数据混合策略，以提高模型的泛化能力与稳定性。

实验表现

在自主构建的大规模数据集LightProp上的实验结果表明，Neural LightRig在各项指标上全面超越现有先进方法：









此外，该方法在真实世界图像中的泛化表现突出，展现出良好的实际应用潜力，适用于增强现实（AR）、虚拟现实（VR）和数字内容创作等广泛领域。

法线估计






材质估计





新光照渲染





开源与资源
为促进研究与应用，研究团队已公开了相关资源，欢迎社区同行积极使用和探索：
代码开源地址：
https://github.com/ZexinHe/Neural-LightRig

数据集开源地址：https://huggingface.co/datasets/zxhezexin/NLR-LightProp-Objaverse-Renderings

预训练模型地址：https://huggingface.co/zxhezexin/neural-lightrig-mld-and-recon

论文链接：https://arxiv.org/abs/2412.09593
项目主页：https://projects.zxhezexin.com/neural-lightrig/


来源：网易

时间:  2025-4-3 15:56
作者: cnqq9999

蛮有意思的
时间:  2025-4-3 22:26
作者: 不吹不黑

港大厉害！



通信人家园 (https://www.txrjy.com/) Powered by C114