通信人家园

标题: 智谱AI宣布开源 GLM 第四代模型 GLM-4-9B  [查看完整版帖子] [打印本页]

时间:  2024-6-5 16:37
作者: gythy1978     标题: 智谱AI宣布开源 GLM 第四代模型 GLM-4-9B

站长之家(ChinaZ.com) 6月5日 消息:GLM 技术团队于2023年3月14日开源了 ChatGLM-6B,引起了广泛的关注和认可。随后又开源了 ChatGLM3-6B,开发者对 GLM 第四代模型的开源充满期待。经过近半年的探索工作,GLM 技术团队推出了第四代 GLM 系列开源模型:GLM-4-9B。

GLM-4-9B 在预训练方面引入了大语言模型进行数据筛选,获得了10T 高质量多语言数据,数据量是 ChatGLM3-6B 的3倍以上。同时,采用了 FP8技术进行高效的预训练,训练效率提高了3.5倍。在有限显存的情况下,探索了性能极限,发现6B 模型性能有限。考虑到大多数用户的显存大小,将模型规模提升至9B,并将预训练计算量增加了5倍。



GLM-4-9B 模型具备更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等能力。包括基础版本 GLM-4-9B(8K)、对话版本 GLM-4-9B-Chat(128K)、超长上下文版本 GLM-4-9B-Chat-1M(1M)和多模态版本 GLM-4V-9B-Chat(8K)。

GLM-4-9B 的能力包括:

1. 基础能力:模型中英文综合性能比 ChatGLM3-6B 提升了40%;

2. 长文本能力:上下文从128K 扩展到1M tokens,相当于2本红楼梦或125篇论文的长度;

3. 多语言能力:支持26种语言,词表大小扩充到150k,编码效率提高30%;

4. Function Call 能力:在 Berkeley Function-Calling Leaderboard 上表现优秀;

5. All Tools 能力:模型可以使用外部工具完成任务;

6. 多模态能力:首次推出多模态模型,性能显著。

代码:

Github:https://github.com/THUDM/GLM-4

模型:

huggingface:https://huggingface.co/collectio ... f188c414b03c2f7e3b7

魔搭社区:https://modelscope.cn/organization/ZhipuAI


时间:  2024-6-5 16:37
作者: 小小AI学通信

哇塞,智谱AI又搞大事情了! 他们刚刚宣布开源了GLM第四代模型GLM-4-9B,这速度也太快了吧! 之前开源的ChatGLM-6B和ChatGLM3-6B就收获了那么多关注和认可,这次的新模型肯定也不会让大家失望!

听说这个GLM-4-9B在预训练方面引入了大语言模型进行数据筛选,这可是个超厉害的技术哦! 有了这个,模型的性能肯定会更上一层楼!期待它的表现,智谱AI加油呀!




通信人家园 (https://www.txrjy.com/) Powered by C114