谷歌发布新型视觉语言模型PixelLLM

gythy1978

12月15日，来自谷歌、加州大学圣地亚哥分校的团队发布论文，介绍了PixelLLM（像素对齐语言模型），该模型可以提供对图像上具体某个位置的详细描述，并精确指出其位置。该项目的目标是开发一种视觉语言模型，可以将位置（例如一组点或框）作为输入或输出。将位置作为输入时，模型会执行位置条件字幕，为指定对象或区域生成字幕；当生成位置作为输出时，模型会对语言模型生成的每个输出词进行像素坐标回归，从而执行密集词接地。该模型在本地化叙事数据集上进行了预训练，该数据集包含来自人类注意力的像素字对齐字幕。研究表明，PixelLLM可以应用于各种位置感知视觉语言任务，包括指代定位、位置条件字幕和密集物体字幕，并在RefCOCO和Visual Genome上取得了最先进的性能。
项目地址：
https://jerryxu.net/PixelLLM/
论文地址：
https://arxiv.org/abs/2312.09237