最近,Meta 开源的 Llama 2 系列模型引发了不小的轰动。这些模型包含 7B、13B、70B 三种版本,最大的 70B 版本性能接近 GPT-3.5,小一点的版本甚至可以在移动端运行,且整个系列都允许商用,有望成为众多大模型应用的底层支撑。很多人预言说,「大模型的安卓时代就要来了」。
Llama 系列模型的 Github star 量已经逼近 4 万。根据官方消息,自发布以来,Llama 2 一周内就有超过 15 万次的下载请求。
不过,基于 Llama 2 构建应用并不只是把它从开源库里下载下来那么简单,模型的后续调优、中文增强、安全评估、与外部数据的融合、推理算力消耗等都是摆在开发者、企业面前的现实问题。这也是当前很多大模型的共性问题。大模型和应用之间需要一座桥梁。
在国内,百度智能云的千帆大模型平台正在努力作好这个角色。
该平台以百度自研的文心大模型为核心,还支持 ChatGLM2、RWKV、MPT、Dolly、OpenLlama、Falcon 等第三方大模型。而且,刚刚发布十几天的 Llama 2 也已经在他们的模型库中上线(7B、13B、70B 三种版本都有)。
再加上,千帆本身就是一个从数据管理、训练调优到大模型发布的一站式工具链平台,刚刚还新增了预置 Prompt 模板,所以,利用这个平台构建基于 Llama 2 等大模型的应用变得非常简单、高效,其效果也将明显区别于直接调用原生开源大模型。