【新智元导读】「地表最强」GPT-4在推理问题中接连出错！MIT校友，以及UCLA华人一作的最新研究引众多网友围观。
GPT-4根本不会推理！
近来，有两篇研究称，GPT-4在推理方面表现不尽人意。
来自MIT的校友Konstantine Arkoudas，在21种不同类型推理集中，对GPT-4进行了评估。
然后，对GPT-4在这些问题上的表现进行了详细的定性分析。
研究发现，GPT-4偶尔会展现出「最强大脑」的天赋，但目前来看，GPT-4完全不具备推理能力。
研究一出，引来众多网友围观。
马库斯表示，「如果这是真的——正如我早就说过的那样——我们离AGI还差得远呢。我们可能需要进行大量的重新校准：没有推理就不可能有 AGI」。
而另一篇来自UCLA和华盛顿大学的研究也发现，GPT-4，以及GPT-3.5在大学的数学、物理、化学任务的推理上，表现不佳。
研究人员引入了一个大学科学问题解决基础SCIBENCH，其中包含2个数据集：开放数据集，以及封闭数据集。
通过对GPT-4和GPT-3.5采用不同提示策略进行深入研究，结果显示，GPT-4成绩平均总分仅为35.8%。
这项研究同样再次引起马库斯的关注：
关于数学、化学和物理推理的系统调查，结果显示，目前的LLM无法提供令人满意的性能......没有一种提示策略明显优于其他策略。
