9min read
低调发育 8 个月后,李开复和他的大模型团队首次亮相
Yi-34B 将支持 200K 上下文,李开复称其多指标击败全球玩家。
11 月 6 日,创新工场董事长兼 CEO 李开复亲自带队的大模型创业公司零一万物,正式开源发布首款预训练大模型 Yi-34B。
李开复将公司的首次公开亮相称为「Yi」鸣惊人,表示 Yi-34B 是「全球最强开源模型」,通用能力、知识推理、阅读理解等多指标击败全球玩家。并称零一万物在数据采集、算法研究、团队配置等环节均为「世界第一梯队」,对标 OpenAI、谷歌等一线大厂。
这次亮相,零一万物也揭开了其团队构成这个神秘面纱的一角。会上,零一万物两位技术副总裁,Pretrain 负责人黄文灏和 AI Infra 负责人戴宗宏,也一同出席。零一万物方面称,团队核心成员拥有 Google、微软、阿里巴巴、百度、字节跳动、腾讯等国内外顶级企业背景,并持续延揽全球范围内最优秀的华人 AI 精英。
而李开复本人,也为零一万物的团队构成做出了最好的背书。作为第一代留学 CMU 的华裔 AI 科学家,经历过微软的 PC 时代,谷歌的移动互联网时代,李开复对 AI Native 应用有异于常人的敏感。不久前,在极客公园组织的西溪论道上,李开复对「什么是 AI Native 的应用」的定义,在产业圈快速蔓延,得到了一致认可。
他提出,AI native(AI 原生)的应用可能有这样的特征:如果大模型拿掉了,应用就崩溃了,它是一个完全依靠大模型能力的应用。在这个视角下,微软 Copilot 可能不算是 all in 大模型的产品,因为拿掉 Copilot,Office 软件还是 Office,AI 只是锦上添花。
对于接下来的计划,李开复剧透,在模型上,未来会陆续宣布更多团队成果,包括:更大尺寸、对话模型、加强的数学和代码模型、多模态模型。除了模型之外,一个 Super APP 的雏形也会在不久的将来跟大家分享。
01Yi-34B:200K 上下文窗口、登顶 Hugging Face
「Yi」系列大模型的命名来自「一」的拼音「Yi」中的「Y」上下颠倒,形同汉字的「人结合 AI 里的 i,代表 Human + AI 强调以人为本的精神,为人类创造价值。
Yi-34B 拥有全球最长 200K 上下文窗口,可处理 40 万汉字超长文本输入,相比之下,OpenAI 的 GPT-4 上下文窗口为 32 K,文字处理量约 2.5 万字,Anthropic 的 Claude2-100K 上下文窗口也只有 100K 规模。