Mistral AI开源新模型MoE 8x7B

gythy1978

12月8日，法国AI初创公司Mistral AI于社交平台X发布了新的开源模型MoE 8x7B，只提供了一个BT种子文件链接。一名Reddit网友将该模型描述为“缩小版GPT-4”，因为它似乎是“由8个7B专家组成的MoE”。该网友称：“从GPT-4泄露的信息中，我们可以推测GPT-4是一个有8个专家的MoE模型，每个专家有111B自己的参数和55B共享注意力参数（每个模型有166B参数）。对于每个标记的推理，也只使用2个专家。MoE 8x7B可能采用了与GPT-4非常相似的架构，但规模有所缩小。”