OpenAI在首次开发者大会分享了数十项新增功能和改进，并降低了平台许多部分的价格。这些包括：
-
新的 GPT-4 Turbo 模型功能更强大、更便宜并且支持 128K 上下文窗口
-
新的 Assistants API 使开发人员可以更轻松地构建自己的辅助 AI 应用程序，这些应用程序有目标并可以调用模型和工具
-
平台中的新多模态功能，包括视觉、图像创建 (DALL·E 3) 和文本转语音 (TTS)
1. 具有128K上下文的GPT-4 Turbo
OpenAI于 3 月份发布了 GPT-4 的第一个版本，并于 7 月份向所有开发人员普遍提供了 GPT-4。本次开发者大会OpenAI将推出该模型的下一代GPT-4 Turbo的预览。GPT-4 Turbo 能力更强，所学习的知识截至日期为 2023 年 4 月。它具有 128k 上下文窗口，因此可以在单个提示中容纳相当于300多页文本的内容。OpenAI还优化了其性能，因此与 GPT-4 相比，它能够以便宜 3 倍的输入token价格和便宜 2 倍的输出token价格提供 GPT-4 Turbo。GPT-4 Turbo 可供所有付费开发者通过传递gpt-4-1106-previewAPI 进行尝试，OpenAI计划在未来几周内发布稳定的生产模型。
1.1 函数调用更新
函数调用可让您向模型描述应用程序的函数或外部 API，并让模型智能地选择输出包含调用这些函数的参数的 JSON 对象。几项改进包括在一条消息中调用多个功能的能力：用户可以发送一条消息请求多个操作，例如“打开车窗并关闭空调”，这在以前需要多个操作模型往返（了解更多）。同时还提高了函数调用的准确性：GPT-4 Turbo 更有可能返回正确的函数参数。
1.2 改进的指令跟随和 JSON 模式
在需要仔细遵循指令的任务上，GPT-4 Turbo 的表现比以前的模型更好，例如生成特定格式（例如，“始终以 XML 响应”）。它还支持我们新的JSON 模式，这确保模型将使用有效的 JSON 进行响应。新的 API 参数response_format使模型能够限制其输出以生成语法正确的 JSON 对象。JSON 模式对于开发人员在函数调用之外在聊天完成 API 中生成 JSON 非常有用。
1.3 可重复的输出和log概率
新seed参数使模型在大多数时间返回一致的完成结果，从而实现可重复的输出。此测试版功能对于重播调试请求、编写更全面的单元测试以及通常对模型行为具有更高程度的控制等用例非常有用。OpenAI 一直在内部使用此功能进行单元测试，并发现它非常有价值。可在未来几周内返回 GPT-4 Turbo 和 GPT-3.5 Turbo 生成的最有可能的输出标记的日志概率，这对于构建搜索体验中的自动完成等功能非常有用。
1.4 更新的 GPT-3.5 Turbo
除了 GPT-4 Turbo 之外，还发布了新版本的 GPT-3.5 Turbo，默认支持 16K 上下文窗口。新的 3.5 Turbo 支持改进的指令跟踪、JSON 模式和并行函数调用。例如，OpenAI内部评估显示格式遵循任务（例如生成 JSON、XML 和 YAML）提高了 38%。开发者可以通过调用gpt-3.5-turbo-1106API来访问这个新模型。使用该名称的应用程序将于 12 月 11 日自动升级到新模型。在 2024 年 6 月 13 日之前，旧模型将继续通过传入 APIgpt-3.5-turbo进行访问。
2. 助手 API、检索和代码解释器
OpenAI发布了Assistants API，这是我们帮助开发人员在自己的应用程序中构建类似代理的体验的第一步。助手是一种专门构建的人工智能，具有特定的指令，利用额外的知识，并且可以调用模型和工具来执行任务。新的 Assistants API 提供了代码解释器和检索以及函数调用等新功能，可以处理您以前必须自己完成的大量繁重工作，并使您能够构建高质量的 AI 应用程序。
这个 API 的设计是为了灵活性；用例范围包括基于自然语言的数据分析应用程序、编码助手、人工智能驱动的假期规划器、语音控制的 DJ、智能视觉画布——这样的例子不胜枚举。Assistants API 构建于支持我们新 GPT 产品的相同功能之上：自定义指令和工具，例如代码解释器、检索和函数调用。该 API 引入的一个关键变化是持久且无限长的线程，它允许开发人员将线程状态管理移交给 OpenAI 并解决上下文窗口约束。使用 Assistants API，您只需将每条新消息添加到现有的thread.
助理还可以根据需要调用新工具，包括：
-
代码解释器：在沙盒执行环境中编写和运行Python代码，可以生成图形和图表，并处理具有不同数据和格式的文件。它允许您的助手迭代运行代码来解决具有挑战性的代码和数学问题等等。
-
检索：利用我们模型之外的知识来增强助手，例如专有领域数据、产品信息或用户提供的文档。这意味着您不需要计算和存储文档的嵌入，或实现分块和搜索算法。Assistants API 根据我们在 ChatGPT 中构建知识检索的经验，优化了要使用的检索技术。
-
函数调用：使助手能够调用您定义的函数并将函数响应合并到其消息中。
与平台的其他部分一样，传递到 OpenAI API 的数据和文件永远不会用于训练OpenAI的模型，开发人员可以在认为合适时删除数据。
3. API 中的新模式
3.1 带视觉的 GPT-4 Turbo
GPT-4 Turbo 可以接受图像作为聊天完成 API 中的输入，从而实现生成标题、详细分析现实世界图像以及阅读带有图形的文档等用例。例如，BeMyEyes 使用这项技术帮助盲人或弱视人士完成日常任务，例如识别产品或浏览商店。gpt-4-vision-preview开发者可以通过在API中使用来访问此功能。OpenAI计划为主要的 GPT-4 Turbo 模型提供视觉支持，作为其稳定版本的一部分。定价取决于输入图像的大小。例如，将 1080×1080 像素的图像传递给 GPT-4 Turbo 的成本为 0.00765 美元。
3.2 DALL·E 3
开发人员可以通过OpenAI的图像 API 指定模型，将OpenAI最近向 ChatGPT Plus 和企业用户推出的 DALL·E 3 直接集成到他们的应用程序和产品中。dall-e-3Snap、可口可乐和 Shutterstock 等公司已使用 DALL·E 3 以编程方式为其客户和活动生成图像和设计。与之前版本的 DALL·E 类似，该 API 包含内置审核功能，可帮助开发人员保护其应用程序免遭滥用。我们提供不同的格式和质量选项，每生成一张图像的起价为 0.04 美元。
3.3 文本转语音 (TTS)
开发人员现在可以通过文本转语音 API 从文本生成人类质量的语音。我们的新 TTS 模型提供六种预设声音可供选择以及两种模型变体，tts-1并且tts-1-hd. tts针对实时用例进行了优化，并tts-1-hd针对质量进行了优化。每输入 1,000 个字符起价为 0.015 美元。
4. 模型定制
4.1 GPT-4微调实验接入
OpenAI正在创建一个用于GPT-4 微调的实验性访问程序。初步结果表明，与 GPT-3.5 微调实现的实质性收益相比，GPT-4 微调需要更多的工作才能对基本模型实现有意义的改进。随着 GPT-4 微调的质量和安全性的提高，积极使用 GPT-3.5 微调的开发人员将可以选择在其微调控制台中应用到 GPT-4程序。
4.2 定制模型
对于需要比微调所能提供的更多自定义的组织（特别适用于具有极大专有数据集的域 - 至少数十亿个代币），OpenAI还启动了自定义模型计划，为选定的组织提供了与专门的 OpenAI 研究人员小组将定制 GPT-4 训练到其特定领域。这包括修改模型训练过程的每一步，从进行额外的特定领域预训练，到运行针对特定领域定制的自定义强化学习后训练过程。组织将拥有对其定制模型的独家访问权。根据我们现有的企业隐私政策，自定义模型不会提供给其他客户或与其他客户共享，也不会用于训练其他模型。此外，提供给 OpenAI 用于训练自定义模型的专有数据不会在任何其他环境中重复使用。
5. 更低的价格和更高的费率限制
5.1 较低的价格
OpenAI正在降低整个平台的多个价格，以便将节省的费用转嫁给开发者（以下所有价格均以每 1,000 个代币表示）：
-
GPT-4 Turbo 输入代币比 GPT-4 便宜 3 倍，为 0.01 美元，输出代币便宜 2 倍，为 0.03 美元。
-
GPT-3.5 Turbo 输入代币比之前的 16K 型号便宜 3 倍，价格为 0.001 美元，输出代币便宜 2 倍，价格为 0.002 美元。之前使用 GPT-3.5 Turbo 4K 的开发人员受益于输入代币减少 33%，价格为 0.001 美元。这些较低的价格仅适用于今天推出的新款 GPT-3.5 Turbo。
-
经过微调的 GPT-3.5 Turbo 4K 模型输入代币减少了 4 倍，价格为 0.003 美元，输出代币便宜了 2.7 倍，价格为 0.006 美元。微调还通过新的 GPT-3.5 Turbo 型号以与 4K 相同的价格支持 16K 上下文。这些新价格也适用于微调型号gpt-3.5-turbo-0613。
5.2 更高的速率限制
为了帮助您扩展应用程序，OpenAI将所有付费 GPT-4 客户的每分钟令牌限制增加了一倍。您可以在速率限制页面查看新的速率限制。我们还发布了确定自动速率限制增加的使用等级，以便您了解使用限制将如何自动扩展。您现在可以从您的帐户设置请求增加使用限制。
特别说明：本文仅用于学术交流，如有侵权请后台联系小编删除。