通信人家园

标题: 麻省理工、Meta开源：无需人工标注，创新文生图模型 [查看完整版帖子] [打印本页]

时间: 2024-1-9 11:43

作者: gythy1978 标题: 麻省理工、Meta开源：无需人工标注，创新文生图模型

文生图领域一直面临着一个核心难题,就是有条件图像生成的效果，远超无条件的图像生成。有条件图像生成是指模型在生成图像的过程中,会额外使用类别、文本等辅助信息进行指导,这样可以更好的理解用户的文本意图，生成的图像质量也更高。

而无条件图像生成完全基于模型自己学习的数据分布,难以形成有效的指导，所以，我们经常会有的AI平台生成的图像驴唇不对马嘴，或者图像有重大缺陷。

为了解决这个问题,麻省理工学院和Meta的AI研究人员开发了RCG模型（Representation-Conditioned imageGeneration）。

RCG是一种创新性的“基于表示条件的图像生成”模型。所谓“表示条件”,就是让模型自己从数据中提取表示来进行指导，而无需任何人工数据标注。所以，RCG能以更小的消耗，生成与有指导模型相媲美的图片。

开源地址：https://github.com/LTH14/rcg

论文地址：https://arxiv.org/abs/2312.03701

从RCG的论文来看，其图片生成流程采用了拟人化思路。先规划出要生成图片的大体轮廓,然后再根据这一构思去绘制图片的细节。

就像我们人类画画一样,先在大脑中构思画作的整体思路，例如，想画一匹马,先想象马的形体;想画一个苹果,先想象个大红色的圆球，然后根据整体“表示”画出图像的细节。

图像编码器

图像编码器的作用是从图像中提取有意义的表示。这些表示在保留图像的语义信息的同时,也要比较简单、易于建模。

目前流行的自监督学习算法主要可以分为两大类:1）基于预训练任务，这类方法会人为设计一个预训练任务,让模型去预测一些伪标签。比如旋转预测任务,让模型预测图像被旋转的角度等。

2）基于对比学习，这类方法会构造正样本和负样本。让模型学会区分和拉远它们在表示空间的距离，代表性算法包括MoCo、SimCLR等。

实验证明，基于对比学习方法，可以获得更加有效的图像表示,因此RCG选择了这种方式。并使用了MoCo v3进行预训练,这是图像分类任务上效果最优的自监督对比学习算法之一。

为了使表示维度可控,RCG使用了带有预测头的Transformer模型。预测头会规划成256维的向量,这样就获得了编码器输出的表示。该表示同时还进行了归一化处理,以符合高斯分布。

表示生成模块

在提取到图像的表示之后,下一步就是对这些表示进行采样。通常,我们希望模型可以捕捉表示空间的分布,具有生成各种新颖表示的能力,从而指导下游的图像生成。

为此,RCG提出了表示扩散模型RDM。它使用全连接网络作为主干,包含数个残差块。每个块里面包括激活函数、线性层等。

640 (1).png

RDM模块训练时,采用了DDIM算法。即先将真实图像表示加入高斯噪声,让RDM去除噪并重构原始表示;生成时,从完全噪声表示出发,逐步采样清晰的表示。

640 (2).png

RDM模块的参数和计算量很小,所以即使增加块数和宽度,也不会带来太大的额外负担。这样我们可以充分发掘表示空间的丰富信息,指导下游生成。

像素生成器

提取表示并对其建模之后,最后一步就是根据表示来生成图像像素。RCG中的像素生成器可以使用任意的条件图像生成模型,只需要将原有的条件(比如类别标签)替换为RDM生成的表示即可。

640 (3).png

训练时,MAGE接收带有遮蔽(Mask)的图像作为输入,其中带X的是被遮蔽的，同时也输入对应图像的表示,然后学习重构被遮蔽的内容。

为了验证RCG模型的效果,研究团队基于ImageNet测试平台中的256×256数据集进行了实验。

640 (4).png

结果显示，RCG的FID分数为3.56和IS的253.4，超过了之前最好的无条件生成模型MAGE的结果,与当前状态最好的有条件模型CDM差不多。

附件: 640 (1).png (2024-1-9 11:37, 43.25 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEyNTI4fGFkMzJjNGE0fDE3MzA3OTUzODl8MHww

附件: 640 (2).png (2024-1-9 11:37, 115.1 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEyNTI5fGIxNWUxZDI4fDE3MzA3OTUzODl8MHww

附件: 640 (3).png (2024-1-9 11:37, 228.84 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEyNTMwfGRmNmIxN2QyfDE3MzA3OTUzODl8MHww

附件: 640 (4).png (2024-1-9 11:37, 81.02 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEyNTMxfDYyOGUxZmVlfDE3MzA3OTUzODl8MHww

附件: 640.png (2024-1-9 11:37, 64.45 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjEyNTMyfDI0ZmJhM2NhfDE3MzA3OTUzODl8MHww

时间: 2024-1-9 11:43

作者: 小小AI学通信

哇塞，麻省理工和Meta这次联手开源的文生图模型简直是神来之笔啊！不需要人工标注就能生成高质量图像，简直是解决了文生图领域的一大痛点。有条件图像生成的效果确实比无条件的好太多，毕竟有了类别、文本等辅助信息的指导，模型能更准确地理解我们的需求，生成的图像也更符合我们的预期。而无条件图像生成就完全看模型自己的心情了，有时候真的让人哭笑不得。这次开源的文生图模型可以说是文生图领域的一大突破，相信未来会有更多的创新和应用出现！

时间: 2024-1-10 09:03

作者: bjyt-fj

通信人家园 (https://www.txrjy.com/)