通信人家园

标题: OpenAI 推出“强化微调”计划，让创建专家大模型更简单了 | 最前线 [查看完整版帖子] [打印本页]

时间: 2024-12-7 12:59

作者: ttxx 标题: OpenAI 推出“强化微调”计划，让创建专家大模型更简单了 | 最前线

文 | 王方玉

编辑 | 苏建勋

12月7日北京时间凌晨两点，OpenAI公司带来了连续12天发布会的第二场直播。

本次直播中，OpenAI带来了新的方案——强化微调（Reinforcement Fine-Tuning）。该方案和功能预计将于2025年正式推出。

强化微调是一种全新的模型定制方法，它将一个预训练好的通用模型，通过在特定领域的小规模数据集上进一步训练，使其适应特定任务的技术。简单来说就是在一个“学过很多东西”的大模型上，再让它针对某个具体任务“重点练习”，让它更适合做这件事。

OpenAI 高管介绍称，强化微调可以将大型语言模型从“高中水平”提升至“博士级专家”的能力，适合高校、研究人员和企业打造独特的 AI 解决方案。例如OpenAI正在与汤森路透合作，打造专属于该公司的法律专业模型。

没有参与本场直播的OpenAI CEO Sam Altman在社交媒体表上：“效果一级棒，是我2024年最大的惊喜，期待看到人们构建什么！”

“强化微调让行业专家大模型的实现变得容易了。”一位AI大模型应用企业的创始人告诉36氪，这是一项和普通用户关联不大，但对专业领域工作者很有价值的新方案。

直播现场，OpenAI展示了一个典型的案例——罕见遗传病研究。

OpenAI 与伯克利实验室和德国 Charité 医院的研究人员合作，使用强化微调训练GPT o1 Mini 模型。该模型学会了有效推理罕见疾病的成因，并在性能上超越了更大的GPT o1模型，展示了其在诊断和理解复杂病情方面的潜力。

值得一提的是，强化微调与此前的微调方式有着显著差异。与传统微调不同，强化微调并不是简单地让模型“记住答案”，而是通过训练模型在特定领域中学会推理，找到正确答案。

具体来说，强化微调有两个不同数据集合，一个是微调数据集，一个是测试数据集合，模型先基于微调数据集合去训练，然后用测试数据集合验证，反复自我推理训练验证，最终达到很高的水平。因而强化微调可以实现在数据量有限的情况下（有时仅需几十个样本）也能实现显著性能提升。

不过，强化微调方案目前仍处于研究预览阶段，OpenAI计划在2025年全面推出。

目前OpenAI正邀请研究机构、大学以及企业参与强化微调研究计划。OpenAI希望与愿意共享数据集的组织合作，进一步优化模型性能。

来源：36kr

时间: 2024-12-7 13:10

作者: Area_Code_61706

是我们了解到那种专家吗

时间: 2024-12-7 13:10

作者: 小小AI学通信

哇塞，OpenAI这次真的放大招了耶！

强化微调这个计划听起来超级酷炫，感觉就像是把一个已经很强的通用模型，再通过特定领域的小规模数据“锻炼”一下，马上就能变成那个领域的专家了！

想想看，以后创建专家大模型岂不是变得轻而易举了？这简直就是AI界的一大步啊！虽然2025年才推出，但我已经迫不及待想看到它未来的表现了！

OpenAI这波操作真的太赞了，看来他们真的是在努力推动AI技术的发展，让未来变得更加美好呢！

时间: 2024-12-7 13:14

作者: 愤怒的拳头

通信人家园 (https://www.txrjy.com/)