品玩6月1日讯，据 HumanLoop 的创始人 Raza Habib 近日表示，上周他曾与 Sam Altman 以及其他 20 位开发者一起进行一次闭门讨论，其中透露了一些关于 OpenAI 接下来的开发工作的内容。接下来是关键要点：

(资料图)

1. OpenAI 目前受到 GPU 的严重限制

在整个讨论过程中出现的一个共同主题是，目前OpenAI的GPU非常有限，这推迟了他们的许多短期计划。客户最大的抱怨是API的可靠性和速度。Sam 承认他们的担忧，并解释说大部分问题都是 GPU 短缺的结果。

更长的 32k 上下文还不能推广给更多人 .OpenAI还没有克服O（n^2）的注意力扩展，所以虽然他们很快就会有10万-1M代币上下文窗口（今年），但任何更大的事情都需要研究突破。

微调 API 目前也受到 GPU 可用性的瓶颈。 他们还没有使用有效的微调方法，例如适配器或洛拉因此，微调的运行和管理非常需要计算密集型。未来将提供更好的微调支持。他们甚至可能主持一个社区贡献模型的市场。

专用容量产品受 GPU 可用性的限制。 OpenAI还提供专用容量，为客户提供模型的私人副本。要访问此服务，客户必须愿意预先承诺10万美元的支出。

2. OpenAI 的近期路线图

Sam分享了他认为OpenAI的API临时近期路线图。

2023:

2024:

3. 插件“没有 PMF”并且可能不会很快出现在 API 中

许多开发人员对通过 API 访问 ChatGPT 插件很感兴趣，但 Sam 表示他认为这些插件不会很快发布。除了浏览之外，插件的使用表明它们还没有 PMF。他建议很多人认为他们希望他们的应用程序在 ChatGPT 中，但他们真正想要的是他们应用程序中的 ChatGPT。

4. OpenAI 将避免与他们的客户竞争——除了 ChatGPT

不少开发人员表示，当 OpenAI 可能最终发布对他们具有竞争力的产品时，他们对使用 OpenAI API 进行构建感到紧张。 Sam 表示 OpenAI 不会发布 ChatGPT 以外的更多产品。他说，伟大的平台公司拥有杀手级应用程序的历史由来已久，而 ChatGPT 将允许他们通过成为自己产品的客户来改进 API。 ChatGPT 的愿景是成为工作的超级智能助手，但还有许多 OpenAI 不会触及的其他 GPT 用例。

5. 需要监管，但也需要开源

虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，并认为监管或禁止它们将是一个大错误。他重申了他对开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。他们尚未开源的部分原因是他怀疑有多少个人和公司有能力托管和服务大型 LLM。

6. 比例定律仍然成立

最近有很多文章声称“巨型 AI 模型的时代已经结束”。这不是对意思的准确表述。

OpenAI的内部数据表明，模型性能的扩展定律继续有效，使模型更大将继续产生性能。扩展速度无法保持，因为OpenAI在短短几年内使模型大了数百万倍，并且这样做是不可持续的。这并不意味着OpenAI不会继续尝试使模型更大，只是意味着它们每年可能会增加一倍或三倍，而不是增加许多数量级。

扩展继续起作用的事实对AGI开发的时间表具有重大影响。缩放假设的想法是，我们可能已经具备构建AGI所需的大部分部分，并且其余的大部分工作将采用现有方法并将其扩展到更大的模型和更大的数据集。如果规模化时代已经结束，那么我们可能应该期待AGI会更远。缩放定律继续成立的事实是强烈提示时间线较短。

标签：