通信人家园

标题: ChatGPT的总体技术路线 [查看完整版帖子] [打印本页]

时间: 2023-3-1 20:39

作者: lwylyr 标题: ChatGPT的总体技术路线

ChatGPT的总体技术路线是：采用自然语言处理+搜索引擎集成的架构，构建GPT3.5+大型语言模型（LLM）+强化学习微调训练模型（RLHF），通过连接大量的语料库，在效果强大、基于自注意力机制的GPT3.5架构的大型语言模型（LLM）基础上，引入RLHF（基于人类反馈的强化学习）技术，通过预训练方法处理大模型序列数据来训练模型，通过“人工标注数据（人工反馈）+强化学习”来不断微调（Fine-tune）预训练语言模型，从而实现拥有语言理解和文本生成的能力，以完成特定任务。ChatGPT实现的关键要素是：NLP（自然语言处理）是核心，搜索是辅助，算力是硬核。

时间: 2023-3-2 07:26

作者: cnqq9999

了解

时间: 2023-3-10 03:46

作者: qkyh

通信人家园 (https://www.txrjy.com/)