一场不及预期的发布会让百度的股价跌去将近10%。然而,当各家媒体开始纷纷发布文心一言的评测,很多人才发现李彦宏仅展现了其能力的“冰山一角”,于是今天百度的股价高开高走,盘中涨幅最高近15%。资本市场的这一戏剧性表现,反映了人们对于这款“中文版ChatGPT”的认知分歧。
在实际测试了文心一言的各项表现之后,文娱价值官发现它虽然距离ChatGPT尚有差距,但已经实现了国内AI领域在大语言模型领域的一次突破。不仅如此,有了知识图谱的加持,未来集成了文心一言的百度搜索可能会比New Bing更加可靠。
在百度之外,过去两年腾讯、阿里也在各自探索大模型突围之路,ChatGPT与文心一言的刺激也正在让它们从岔路回到“正轨”。
文心一言
未来进化的潜力有多大?
在昨天的发布会上,李彦宏通过演示视频展示了文心一言在文本创作、数理推算、中文理解与多模态生成等方面的能力,却并未测试其在多轮连续对话、上下文语意理解、逻辑推理等方面的表现,通常这些才被认为是ChatGPT的突破之处。因此,。
随着越来越多内测用户开始与文心一言深度互动,这一印象似乎被进一步加深。从众多网友及文娱价值官的实际测试过程中可以看出,文心一言的in-context learning能力差强人意,某些时候不能正确理解用户的提问。同时,文心一言也并没有熟练掌握逻辑推理链条,一旦用户继续追问,文心一言往往显得穷于应付。
相比之下,文心一言在文本生成、世界知识等方面的表现则令人惊喜,虽然很多时候生成内容的深度与精细程度不如ChatGPT,但更多是由于训练过程中语料质量的限制,后续可以实现进一步提升。
基于文心一言的表现,有业内人士推断它已经具备了GPT-3的同等能力,与ChatGPT背后的GPT-3.5仍然存在代差,更不用说OpenAI刚刚发布的GPT-4了。
尽管如此,该业内人士依然表示文心一言超出了预期,因为在此之前,国内尚且没有一款大模型能达到GPT-3的水平,文心一言至少走在了一条正确的道路上。如同GPT-3一样,文心一言也拥有巨大的进化潜能,后续如果像OpenAI一样进行代码训练、指令微调和基于人类反馈的强化学习(RLHF),或许也能够最终解锁GPT-3.5所拥有的突现能力(Emergent Ability