当前位置: 江南文明网 > 科技 >

OpenAI不藏着了,开放微调功能

条评论

OpenAI不藏着了,开放微调功能

OpenAI宣布推出基于GPT-3.5 Turbo的微调功能并更新API,让企业、开发人员能够使用自身数据定制ChatGPT。

微调(Fine-tuning)是一种利用已有通用语言模型(如GPT-3.5)来训练一个特定模型的方法。通用语言模型虽然具有很强的语言理解和生成能力,但是它们并不针对特定的领域或任务。通过在自己数据上对通用模型进行微调优化,训练一个专属模型,可以更好地适应特定的使用场景。在保留通用语言模型强大能力的同时,进一步提高模型的准确度等效果和效率。

这就相当于在一个已经建好的房子上进行装修,使其更符合自己的需求和喜好,而不是从头开始建造一个新房子。因此,可以节省大量时间和资源,也可以避免一些技术难题。

OpenAI此次推出的微调功能,使更多开发者能参与到GPT模型应用当中,并借此实现更多个性化和创新的应用场景,提高用户体验和粘性,这对开发者生态的建立也起到了积极的助推作用。同时也极大拓展了通用模型的应用范围和潜力,加快了各行各业部署AI技术的步伐。

对于此次公告中提到的GPT-3.5 Turbo微调的安全性、使用效果、价格、未来更新、部署步骤等方面,重点说明如下。

安全性:从微调API发送的数据归客户所有,OpenAI或任何其他组织不会使用数据来训练模型。同时,为了保障模型部署的安全,OpenAI通过审核API和GPT-4驱动的审核系统,检测与安全标准冲突的有害数据。(微调有利于为用户提供更具个性化的服务,但也降低了技术门槛,可能导致不负责任的使用)

微调效果:在实际测试过程中,GPT-3.5 Turbo的微调版本在某些任务上,与基本型号的GPT-4能力相当甚至要更好。微调客户能够提高常见用例的模型性能,并缩短提示时间。通过对模型本身的指令进行微调,还可加快API调用并降低成本,提示词数量减少了90%。

价格和Token:GPT-3.5 Turbo的微调成本分为初始训练成本和使用成本两部分。一个包含100K tokens训练文件的微调工作,预计成本为2.4美元。具体来说,训练:$0.008 / 1K tokens;使用输入:$0.012 / 1K tokens;使用输出:$0.016 / 1K tokens。可处理的上下文为4K tokens,是之前微调模型的两倍。

微调步骤:只需经过准备数据、上传文件、创建微调作业、使用微调模型四步。一旦模型完成微调过程,就可以立即在生产中使用。

未来更新:GPT-4 的微调将于今年秋天推出,而在秋季晚些时候会推出对GPT-3.5函数调用和16k上下文的微调支持。不久的将来还会推出微调UI,可更容易访问正在进行的微调作业等有关信息。