微软最近一篇论文爆料,GPT-3.5的参数量只有20B,远远小于之前GPT-3公布175B。网友表示,ChatGPT能力似乎「配得上」这个体量?
GPT-3.5只有200亿参数?
今天,大模型圈都被微软论文中的一纸截图刷爆了,究竟是怎么回事?
就在前几天,微软发表了篇论文并挂在了arXiv上,该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusion。
性能方面,7500万参数的CodeFusion在top-1准确率指标上,可以与最先进的350M-175B模型相媲美。
论文地址:https://arxiv.org/abs/2310.17680
这篇论文的工作很有意义,但引起大家格外注意的却是——
作者在对比ChatGPT(gpt-3.5-turbo)时,标称的参数量竟然只有20B!
在此之前,大家针对GPT-3.5参数量的猜测都是1750亿,这相当于是缩减了差不多十倍!
根据这篇论文的爆料,网友还去维基百科上更新了GPT-3.5的介绍,直接把参数大小改成了20B。