苹果开源图像新技术ml-mgie 可通过指令修改图片

gythy1978

苹果开源了一种新的技术，名为多模态大语言模型引导的编辑（MGIE），这项技术能够帮助用户通过自然语言指令来修改图片，使得编辑图片更加简单和自然。

MGIE采用多模态大型语言模型（MLLMs）进行图像编辑指令的生成，通过端到端训练，模型不仅捕捉视觉想象力，还执行图像处理操作。该方法在ICLR#39;24上取得了Spotlight成果。



项目地址:https://github.com/apple/ml-mgie

多模态大语言模型引导的编辑技术（MGIE）不仅可以帮助用户编辑图片，还能够通过自然语言指令来实现对图像的各种修改，比如改变颜色、调整大小、添加特效等等。这种技术的出现，极大地简化了图像编辑的流程，让用户可以更轻松地完成他们想要的效果。

这一方法的创新之处在于将大型语言模型与图像编辑相结合，实现了更加智能和直观的图像处理。通过该项目，用户可以在图像编辑任务中更加自由地使用自然语言指令，而无需繁琐的描述或区域掩码。项目中详细说明了数据准备、训练和推断的步骤，为用户提供了便利。

该项目在图像编辑领域探索了新的可能性，为使用自然语言进行图像处理提供了一种创新的方法。在实现更加直观和自由的图像编辑过程中，这一方法有望为未来的计算机视觉和图像处理研究提供新的思路。