通过对 GPT-3.5 和 Llama 2 在不同任务上的微调对比，我们可以得知在什么情况下选择 GPT-3.5，什么情况下选择 Llama 2 或其他模型。
众所周知，对 GPT-3.5 进行微调是非常昂贵的。本文通过实验来验证手动微调模型是否可以接近 GPT-3.5 的性能，而成本只是 GPT-3.5 的一小部分。有趣的是，本文确实做到了。
在 SQL 任务和 functional representation 任务上的结果对比，本文发现：
GPT-3.5 在两个数据集（Spider 数据集的子集以及 Viggo functional representation 数据集）上都比经过 Lora 微调的 Code Llama 34B 表现略微好一点。
GPT-3.5 的训练成本高出 4-6 倍，部署成本也更高。
本实验的结论之一是微调 GPT-3.5 适用于初始验证工作，但在那之后，像 Llama 2 这样的模型可能是最佳选择，简单总结一下：
如果你想验证微调是解决特定任务 / 数据集的正确方法，又或者想要一个完全托管的环境，那么微调 GPT-3.5。
如果想省钱、想从数据集中获取最大性能、想要在训练和部署基础设施方面具有更大的灵活性、又或者想要保留一些私有数据，那么就微调类似 Llama 2 的这种开源模型。
接下来我们看看，本文是如何实现的。
下图为 Code Llama 34B 和 GPT-3.5 在 SQL 任务和 functional representation 任务上训练至收敛的性能。结果表明，GPT-3.5 在这两个任务上都取得了更好的准确率。
