ChatGPT之类的AI编码工具来势汹汹,Stack Overflow又裁员了!不过,普林斯顿和芝大竟发现,面对真实世界GitHub问题,GPT-4的解决率竟是0%。
Stack Overflow,已经被ChatGPT创飞了!
因为码农大量涌向ChatGPT、Github Copilot,Stack Overflow今天不得已宣布裁员100多人,几乎占员工人数的1/3。
所以,ChatGPT这类AI编码工具,真的要颠覆整个行业了?
不过最近,普林斯顿和芝大的一项研究发现,LLM想要替代码农,其实没那么容易。
论文地址:https://arxiv.org/abs/2310.06770
在2294个GitHub真实问题面前,GPT-4解决随机GitHub问题的通过率,竟然是0%!
而即使是最佳模型Claude 2,也只能解决其中的1.96%而已。