当前位置: 江南文明网 > 科技 > 智能 >

关于GPT-4在变笨

条评论

关于GPT-4在变笨

你的猜测是对的,大模型在变笨!

最近几个月一直都有关于OpenAI的两个传说,其一是ChatGPT的流量开始下滑,其二是GPT4“变笨”了。

前者已经被证明是真的,根据数据公司SimilarWeb的统计,5月到6月,ChatGPT全球流量下降了9.7%,美国境内流量下降了10.3%。

后者则是逐渐变成了一个Twitter热门传说,大家讨论它的热情堪比对GPT4模型结构的全力揣测,以至于OpenAI的产品副总裁都公开说,不!我们没有让它变笨!

论文的主要内容,简而言之就是,你说对了!大模型确实在变笨!

论文试图通过多种维度评估GPT的表现为何让人感到如此不稳定和不一致,于是为GPT3.5和GPT4划分了四种能力维度,分别是数学问题,敏感问题,代码能力和视觉推理能力。

通过对比2023年3月和6月两个版本的大模型,这篇论文发现了如下结果。

首先,两个大模型的表现都在短期内有着显著变化,特别明显的是数学问题,GPT的准确率大幅下降。举例子来说,在判定一个数是否是质数上,GPT4的成功率在三个月内从97.6%下降到了2.4%!