苹果发布开源多模态大语言模型 Ferret

沙雕超人

苹果和哥伦比亚大学的研究人员于今年 10 月低调地发布了一个名为 Ferret 的开源多模态大语言模型。该模型既能精准地识别图像并描述其内容，还能辨别和定位图像中的各种元素。Ferret 有 7B 和 13B 两个版本。此外，为了增强模型的能力，苹果专门收集了一个名为 GRIT 数据集。该数据集包含了 1.1M 个样本，涵盖丰富的层次空间知识。当时，该版本包含代码和权重，但仅供研究使用，而非商业许可，没有受到太多关注。而随着日前苹果发表多篇变革性论文，宣布在 iPhone 上部署大语言模型方面取得了重大突破，AI 社区中的许多人才注意到 Ferret 的发布。