当前位置: 江南文明网 > 科技 >

Meta大模型核心团队一半出走

条评论

Meta大模型核心团队一半出走

据The Information报道,虽然Meta发布的大语言模型Llama和Llama 2得到了广泛好评,但有知情人士透露,2月份发表Llama原始研究论文的14名作者中,有一半以上已经离开了Meta。

ChatGPT发布后,Meta的AI研究部门FAIR开发压力增加。而开发运用于生成式AI的大语言模型需要专门的芯片来进行计算,知情人士称,在Meta的Llama团队进行研发的同时,还有另一个团队也在研发一个新的用来与谷歌PaLM模型竞争的模型,两个团队需要争夺Meta内部的计算资源。Meta出现大量人才流失的情况,或许是因为Meta在AI研究与布局上存在计算资源分配问题、团队士气问题、以及公司人员与AI研究方向安排问题,本文将对这三大问题进行分析。

一、ChatGPT的发布刺激Meta大语言模型研发

2013年,Meta聘请了法国科学家Yann LeCun担任AI研究总监,同时设立了FAIR。此后,Meta的AI研究工作都以FAIR为中心。

FAIR除了在加州的门洛帕克和LeCun所在的纽约设立了主要实验室,还在蒙特利尔、巴黎、伦敦和西雅图设立了其它实验室。其中,蒙特利尔是Meta的AI研究实验室Fundamental AI Research的负责人Joelle Pineau的所在地。

亚马逊生成式AI探索之路坎坷,Titan模型或助其力挽狂澜

FAIR开展的研究项目涉及到使用AI进行语言翻译和改进核磁共振(MRI)扫描等场景。在ChatGPT发布之前,Meta一直致力于开发自己独立的大语言模型。但是当OpenAI在2022年初发布了基于GPT-3.5模型的用户友好型聊天机器人ChatGPT后,Meta的领导层要求将AI研究融入更多产品,FAIR的研发压力不断增加。

Meta的首席执行官马克·扎克伯格(Mark Zuckerberg)曾说过,Meta在生成式AI的研发上落后于OpenAI后,他计划将生成式AI作为Meta的核心优先事项。此外,Meta还试图通过定期发布关于其AI发展的新动态,引起人们对其AI工作的兴趣,推动其AI工作宣传。

二、计算资源分配出现问题或加速企业研究人才流失

2022年5月,FAIR中一个驻扎在美国的团队公开发布了OPT-175B模型。Meta声称,虽然编码训练期间使用的内容数量相同,但OPT-175B模型的能耗比OpenAI的GPT-3要低。有两位知情人士说,在几个月后,因为要与谷歌的PaLM模型竞争,开发OPT-175B模型的团队开始开发第二个更大的模型。

与此同时,FAIR驻扎在巴黎的团队正在开发一种被称为Llama的独立大语言模型。相比OPT,这个模型更小。一位知情人士说,这个团队认为较小的模型在生成对用户问题的响应方面会更加高效。

因此,两个研发团队都需要使用Meta内部的计算资源,一些研究人员觉得这就像是一场竞争。两位知情人士透露,FAIR的一些领导就曾质疑为什么会有两个团队同时开展类似的项目,对有限的计算资源的争夺加剧了团队之间的紧张关系,特别是相较于北美的OPT团队,巴黎的Llama团队获得的计算资源较少,因此Llama团队感觉被忽视了。