苹果推出300亿参数MM1多模态AI大模型

gythy1978

苹果公司最新发布了一款名为MM1的多模态大模型，该模型提供30亿、70亿和300亿三种参数规模，并拥有图像识别和自然语言推理能力。这款模型是在苹果研究团队的主导下开发的，并在各种变量控制实验中取得了令人满意的结果。研究表明，图像分辨率和图像标记数量对模型性能影响较大，而视觉语言连接器则对模型的影响较小。此外，不同类型的数据集对模型的性能也有不同的影响。研究人员首先进行了小规模消融实验，在模型架构决策和预训练数据上进行了探索。随后，他们构建了一种名为Top-2 Gating的混合专家架构，并结合了“MM1”名称命名这个新模型。