自从去年11月ChatGPT正式发布、Open AI开启了AI新时代以来,生成式AI领域就开始如火如荼:巨头杀红了眼,创业公司也在力求突破。
从Open AI背后的金主微软,到赶鸭子上架发布了Bard的谷歌,再到Open AI出走自立门户的Anthropic等……目前,在生成式AI模型这个赤手可热的风口上,硅谷还有哪些公司在摩拳擦掌,准备大干一场呢?
Meta:另辟蹊径,不做聊天做开源
押注元宇宙的Meta也在悄悄赶上这波生成式AI的浪潮。
不久前,Meta在宣布发布了自己的大语言模型LLaMa, 其全名为Large Language Model Meta AI。在Facebook社交媒体上,Facebook的CEO Mark Zuckerberg宣布LLaMa“将在生成文本、对话、总结写作材料,和更多诸如解决数学问题和预测蛋白质结构等复杂的任务中展示新的希望”。
Meta 的发布也很引人注目,部分原因是它避开了AI聊天机器人这一当下最热门也最拥挤的领域。其实Meta过去曾经发布过自己的用户侧AI 聊天机器人,包括广受批评的BlenderBot,和因为不停地制造科学废话才三天就被下线 Galactica的机器人。不过在一篇研究论文中,Meta 声称 LLaMA 模型的第二小版本 LLaMA-13B“在大多数基准测试中”比 Open AI的GPT-3模型表现更好。
但与Open AI的ChatGPT不同,Meta发布的LLaMa并不致力于制作出用户侧的对话工具。
作为Meta对开放科学承诺的一部分,LLaMa旨在帮助研究人员推进他们在 AI 子领域的工作。Meta特意强调了这款模型的非商用性,“为了保持完整性并防止滥用,我们将根据专注于研究用例的非商业许可发布我们的模型。将根据具体情况授予隶属于政府、民间社会和学术界组织的人员和世界各地的行业研究实验室相关的权限。”
Meta认为,在大型语言模型空间中训练像 LLaMA 这样的小型基础模型是可取的,因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。基础模型在大量未标记数据上进行训练,这使得它们非常适合对各种任务进行微调。
针对大型语言模型中的偏见、有毒评论和作假的风险,Meta希望通过共享 LLaMA 的代码,让其他研究人员可以更轻松地限制或消除大型语言模型中这些问题。Meta还在LLaMa的论文中提供了一组语言评估模型的标准,支持在这一关键领域的进一步研究。
Open AI叛将:自立门户,却加入谷歌阵营
来自Open AI背景的研发人员成立了Anthropic。Anthropic是一家AI研究公司,由Open AI前员工于2021年创立。
该公司推出了名为Claude的类似ChatGPT的对话软服务。该公司使用一种称为Constitutional AI(条约型AI) 的方法开发了聊天机器人。针对该框架,其研发团队有一篇完整的论文,但简而言之,Claude使用一组大约 10 条“自然语言指令或原则”来训练语言模型,用于自动修改它的回答。 根据 Anthropic 的说法,该系统的目标是在不结合人类反馈的情况下“训练更好、更无害的人工智能助手”。