通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  四级军士长

注册:2010-4-285
跳转到指定楼层
1#
发表于 2024-12-20 18:42:02 |只看该作者 |倒序浏览




新智元报道

编辑:编辑部 JHYZ

【新智元导读】「GPT之父」刚刚被曝从OpenAI离职!他是GPT-1、GPT-2的一作,是Ilya在演讲中感谢过的人,被很多人称为ChatGPT背后的真正先驱和无名英雄。在推动了预训练时代,眼看着OpenAI即将接近AGI的时候,他忽然选择离开。

刚刚,「GPT之父」Alec Radford被曝离职OpenAI!




谁也没想到,OpenAI圣诞12日的特别活动接近尾声时,居然迎来这样一枚炸弹。

OpenAI这次失去的,是一位元老级的骨干成员,是真正开创ChatGPT这一迄今为止最大AI突破的人。




2016年加入OpenAI后,他不仅是GPT-1、GPT-2、CLIP、Whisper的一作,还为GPT-3、GPT-4、DALL-E 2/3等技术突破提供了支持,是OpenAI多项美国专利的发明人。













左右滑动查看

他在机器学习和深度学习领域非常高产,论文引用量高达19万,多篇入选NeurIPS、ICLR、ICML等著名会议,其合作者包括llya、lan Goodfellow等知名学者。




根据据The Information报道,就在周四,Radford宣布离职,即将开展独立研究。据悉,他之后计划同时和OpenAI以及其他AI开发者合作。

OpenAI研究负责人Mark Chen表示,「我们对Alec及其贡献深表敬意和感谢,并期待在他探索独立研究的同时继续与他合作项目。」

德扑之父、OpenAI高级研究科学家曾这样评价道,「OpenAI真正开始崭露头角,是从聘请了一位当时名不见经传的研究员Alec Radford开始的」。




也有人给出了意味深长的发问:如果OpenAI真的处于AGI的边缘,为什么这些人还要离开?




真正的「ChatGPT之父」

2016年,对于OpenAI来说,注定是一个转折点。

23岁的传奇AI研究员Alec Radford选择加盟,这个决定不仅仅改变了他的职业生涯,更为AI的发展掀开了崭新的一页。

有人说,Radford扮演的角色,如同谷歌创始人拉里佩奇发明了PageRank。

他是一位内敛、低调的研究者,几乎很少露脸,也从未接受过任何采访。

此前,Radford曾透露自己最大兴趣是,让神经网络能够与人类进行真正的对话。




入职OpenAI后,他开启的第一个实验是,用20亿条Reddit评论训练预言模型,没想到却以失败告终。

当时,总裁Greg Brockman鼓励到,没关系,再试试吧。

由于受限于算力,Radford只能在单一领域中进行实验。接下来,他选择了亚马逊电商平台评论,尝试让语言模型简单预测,并生成和用户评论的下一个字符。

看似平凡的选择,却带来了意外的收获:模型不仅能预测评论下一个字符,还能自主判断评论的情感倾向(积极/负面),甚至根据要求生成不同风格的评论。




文章链接:https://arxiv.org/pdf/1704.01444

正是这个突破,引起了OpenAI前首席科学家Ilya的注意。他接着鼓励Radford进一步扩展研究范围——在亚马逊评论数据之外再次尝试。

2017年,Transformer奠基之作出世,让Radford的研究迎来质的飞跃。




他联手Ilya一起,创造了共有1.17亿参数的模型,并将其命名为「Generative Pre-trained Transformer」(GPT)。

这个模型在7000本未出版的学习书籍、Quora问答,以及各类考试文章中,展现出了前所未有的预言理解能力。

更令人惊艳的是,GPT还具备了零样本学习的能力,在未经训练的领域,同样拥有专业级水平。

这种超出预期的能力,让团队异常兴奋,同时引发了他们对AI方向的深度思考。

有趣的是,当初代GPT问世时,Radford和团队选择了一种低调的方式,将论文直接发布在arXiv上,并非提交各大顶会。




a16z著名风投家Marc Andreessen曾这样描述道,「在2018年-2019年之间,他隐藏在人工智能的角落,默默地在自己的领域潜心研究」。

正是这份坚持,最终改变了人工智能的发展轨迹。

这正是从这一刻起,传奇GPT系列开启了。

OpenAI,正在失去核心员工

Alec Radford的离开,如同一枚重磅炸弹,炸得网友们惊愕不已。

有人说,这位元老对于OpenAI和整个AI研究的影响被低估了。甚至可以说,他的影响力完全不亚于Ilya。










就在Ilya几天前的NeruIPS 2024演讲中,他还特别提到,感谢自己的前同事Alec Radford

因为他不仅是GPT的主要作者,还可能是公司每个重要研究方向的带头人。

UC伯克利AI博士Dan Hendrycks表示,自己排名的AI学术影响力榜单中,何恺明和Alec Radford是妥妥的TOP 2。




CS教授、DeepMind高级顾问Jeff Clune表示,我们应该重新为Alec Radford正名。

他是AI研究领域最重要、但却没有知名度的人,被低估的人,在重大进步后隐身的人。

Clune教授认为,Alec Radford应该作为现代生成式AI之父被载入史册。




许多科学家和研究者表示同意:没错,Alec Radford是真正的MVP。




好在他的离开虽然对OpenAI是个损失,但他未来肯定不会缺GPU,如果做一些开放研究的话,整个世界都会受益。




也有人猜测道,每当OpenAI发布重大模型前后,总会有人离开。比如高级语音模式Her发布后,CTO Mira Murati就离职了。

按照这个规律,或许GPT-4.5明天就要发布。(对于GPT-4.5的发布时间,此前也有很多类似的预测)




对于Alec Radford的离开,很多人表示理解。

一旦初创公司经历最初的飞速发展期后稳定下来,选择离开公司是很正常的。

他们有人脉、有履历,可以在任何地方找到想要的工作。甚至还能创办自己的公司,拿到数十亿美元的融资。




讽刺的是,就在一年前,有网友表示OpenAI的分裂不会对AI未来的轨迹有多大影响,因为成果背后真正的天才是像Ilya和Alec Radford这样的科学家。

「只要他们还在,OpenAI就不会有任何影响。」

但如今,OpenAI的根基正在动摇。




总结一下,OpenAI在2024年已经流失多位元老。

包括首席技术官Mira Murati、研究负责人Bob McGrew,联创兼研究员John Schulman,研究副总裁Barret Zoph,安全系统团队负责人Lilian Weng,联创兼前首席科学家Ilya Sutskever,前安全负责人Jan Leike,现在又多了Aled Rad。

可以预见,接下来这份离职名单还会不断壮大。




参考资料:

https://www.wired.com/story/what-openai-really-wants/

https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs


来源:网易

举报本楼

本帖有 2 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-12-31 01:07 , Processed in 0.271998 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部