SamAltman 的欧洲之行仍在进行中。前不久，在伦敦，他和 AI 公司 HumanLooop 的 CEO 进行了一次闭门讨论。HumanLoop 是一家帮助开发者在大语言模型上构建应用的公司。
HumanLoop 的 CEO Raza Habib 记录了这次谈话的要点，并公开在公司官网上。但随后在 OpenAI 的要求下，这份纪要被撤下。这反而增强了外界对这次谈话的好奇心。有人推测，是其中所涉及的 OpenAI 的一些想法有所更改。
极客公园在浏览了这份被删除的谈话纪要后，发现其中不仅涉及 Sam 眼中对 OpenAI 的短期规划，也隐藏着获得微软云计算资源大力支持后，OpenAI 所承担的压力。毕竟，模型的微调、推理依旧消耗大量计算资源。据 The Information 报道，Open AI 的模型已经花费了 Microsoft Azure 12 亿美元，将计算资源集中于支持 OpenAI，也让微软的其他部门可使用的服务器受限。
对此，Sam 表示降低成本是目前的首要目标。
此外，Sam 还透露：目前，开放更长的上下文窗口、提供微调 API 等服务都受到GPU资源的限制；
这场对话中，Sam Altman 回应了许多外界关心的问题，比如竞争与商业化：
尽管刚刚招聘了一位世界级的产品经理 Peter Deng，但 OpenAI 不会考虑发布更多的产品；
未来的应用趋势是大模型的功能嵌入更多APPs，而不是在ChatGPT上生长出更多插件，因为现实中大多数插件并没有呈现出 PMF（Product / Market Fit，即产品市场匹配）；
过去几年，OpenAI 以数百万倍的速度扩展模型规模，但这样的速度不可持续。接下来，OpenAI 会继续以 1 到 3 倍的速度，增加模型规模，以提升模型性能。
谈话纪要公开于 5 月 29 日，根据网友的记录，于 6 月 3 日左右删除。以下是通过备份获得的内容：
01.OpenAI 目前受到GPU 的严重限制
随着对话扩展，所需的计算资源呈指数增长
目前 OpenAI 的 GPU 非常有限，这拖延了他们许多短期计划。客户最大的抱怨是 API 的可靠性和速度。Sam 承认他们的担忧，并解释说，大部分问题是由于 GPU 短缺。
The longer 32k context can』t yet be rolled out to more people. OpenAI haven』t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.
更长的 32K 上下文还不能提供给更多的人。OpenAI 还没有克服注意力机制的 O (n ^ 2) 的扩展问题，尽管看起来，他们很快 (今年) 就会拥有 100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。
注：O (n^2) 意味着，随着序列长度的增加，执行 Attention 计算所需的计算资源呈指数增长。O 用来描述算法时间或空间复杂度增长速度的上限或最坏情况；（n^2）表示复杂度与输入大小的平方成正比。
微调 API 目前也受到 GPU 可用性的限制。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法，因此，通过微调进行运行和管理（模型）非常计算密集。未来将对微调提供更好的支持。他们甚至可能主持一个基于社区的模型贡献市场。
专用容量供应受 GPU 可用性的限制。OpenAI 提供专用容量，为客户提供模型的私有副本。要获得这项服务，客户必须愿意承诺预先支付 10 万美元。
