创新工场CMO发朋友圈回应Yi大模型“抄袭LLaMA”事件,她表示零一万物发布Yi-34B模型训练的说明,回应对于模型架构的探讨舆论。
创新工场CMO发文表示,沿用行业演进渐成通用、生态拥抱的基础架构就成了“套模、山寨“?(就像手机app开发者都得益于ios、Android的共通架构)。零一万物会持续从社区中虚心学习,持续进步。
根据说明内容显示,零一万物从零开始训练了Yi-34B和Yi-6B模型,并根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集(从3PB原始数据精选到3T token高质量数据)。
在零一万物初次开源过程中,我们发现用和开源社区普遍使用的LLaMA 架构会对开发者更为友好,对于沿用LLaMA部分推理代码经实验更名后的疏忽,原始出发点是为了充分测试模型,并非刻意隐瞒来源。零一万物对此提出说明,并表达诚挚的歉意,我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新。