比尔”飞轮转动

OpenAI第一届开发者大会公布了更强大的全场景大模型 本次OpenAI Devday上，OpenAI公布了包括GPT-4 Turbo的引入、新的Assistant API以及平台在多模态能力上的扩展内容。GPT-4 Turbo是对原始GPT-4模型的增强，不仅功能强大，而且成本更低，该模型具有更长的上下文与更先进的知识数据；GPT-4 Turbo支持新推出的JSON模式，提升了函数调用功能，具有更好的指令跟随功能；最后本次大会引入了功能性强大的多模态API，同时推出DALL·E 3、GPT-4 Turbo视觉、文字转语音（TTS）模型的API；最后，OpenAI新推出Assistant API，为开发者在应用程序中构建类似代理体验、具有特定的指令、运用额外的知识等提供便利。 GPTs短期内长生了上万个应用，大模型的iOS时刻已来 GPTs更广泛地适应个人和专业需求，GPT模型创建和定制变得更加简单。我们认为，本次GPTs仅需无代码和自然语言交互就能创建大量应用，这会加速市场热门应用被挖掘的事件。OpenAI开发者大会首次也发布了OpenAI自研构建的多种应用，比如DALL·E、数据分析、数学导师等应用。在GPTs功能推出后，在很短时间内产生了上万应用。在2023微软Ignite大会上，微软推出Copilot Studio——Copilot插件功能，Copilot用户可以将GPTs与新插件功能一起来定制Copilot在用户使用的数据、工作流程还有安全需求上的体验。我们相信在OpenAI推出GPT Store后，其生态体系有望蓬勃发展。 “安迪比尔”的应用—算力循环正式提速，看好未来国内模型与应用 智谱在10月27日推出了ChatGLM3这一新版本，同时还开源了多模态大模型CogVLM-17B，与前一代相比，ChatGLM3实现了能力的较大提升，ChatGLM3-turbo已经和GPT-3.5接近。百度文心在10月17日发布文心大模型4.0版本，李彦宏认为文心大模型在理解、生成、逻辑、记忆这四大能力上有明显提升，综合水平跟GPT 4相比，已经毫不逊色。星火大模型V3.0综合能力超越ChatGPT，国内领先，达到国际一流水平，在医疗、法律、教育行业的表现格外突出。我们看到国内的基础大模型能力进步迅速，目前智谱、百度、科大讯飞等国内行业领军者的大模型能力已经接近甚至超过GPT-3.5的水平，大模型能力的提升有望带来国内应用生态的加速发展。 建议关注： 1.应用：（1）办公软件：金山办公、福昕软件、彩讯股份（通信团队覆盖）（2）多模态：万兴科技、美图公司（与海外团队联合覆盖）、虹软科技、光云科技（3）B端应用：用友网络、金蝶国际、致远互联、泛微网络、鼎捷软件、汉得信息（4）金融、教育、医疗：同花顺、恒生电子、新致软件、科大讯飞、视源股份（与电子组联合覆盖）、润达医疗 2.基础设施：神州数码、烽火通信、拓维信息、高新发展、海光信息、星环科技、寒武纪、景嘉微（与电子团队联合覆盖） 风险提示：开源生态与开源技术发展速度不及预期、垂直行业大模型打造速度不及预期、终端应用场景拓展速度不及预期。 1.OpenAI第一届开发者大会带了新的全能大模型 1.1.更长的上下文、新的文生图大模型，GPT逐步全能 2023年11月6日，OpenAI召开第一届开发者大会，发布会展示了众多新功能和改进，包括GPT-4 Turbo的引入、新的AssistantAPI以及平台在多模态能力上的扩展内容。 GPT-4Turbo是对原始GPT-4模型的增强，不仅功能强大，而且成本更低。该模型具有更长的上下文与更先进的知识数据，支持128k的上下文窗口，能够在单次输入提示后处理相当于300多页文本的内容；GPT-4 turbo拥有截止到2023年4月的世界知识数据（GPT-4为2021年9月）。同时，性能优化的GPT-4Turbo较GPT-4输入tokens价格降低了66.67%，输出tokens价格降低了50%。 图1：GPT-4 turbo与GPT-4相比，该模型拥有更长的上下文及更前瞻的数据 GPT-4Turbo支持新推出的JSON模式，确保模型能以有效的JSON格式回应，通过新的API参数“response_format”，模型能够限制其输出内容以生成语法正确的JSON格式对象。对于开发者来说，在“对话补全”API中生成函数调用之外的JSON格式数据结构,JSON模式是非常有用的。 GPT-4 Turbo函数调用功能的提升。它允许用户向模型描述应用（APP）的函数或外部API中的特定函数，并使模型智能地选择输出包括调用这些函数参数的JSON对象，目前用户可以在单个消息中请求执行多项函数操作，例如“打开车窗并关闭空调”，这种操作以前需要与模型进行多次交互。此外，GPT-4Turbo在函数调用的准确性也得到了提高，现在会更容易地返回正确的函数参数。 GPT-4Turbo具有更好的指令跟随功能。GPT-4Turbo在执行需要精确遵循特定指令的任务上表现更佳。例如，在被要求以特定格式（XML）回复时，能更准确地遵守格式要求。 图2：用户在JSON模式下使用函数调用可在模型中进行单次多项函数操作 新“seed”参数对模型行为提供了更高程度的控制。新“seed”参数通过在大多数情况下返回一致的完成度，允许GPT-4turbo生成可重现的输出内容。此测试功能对于模型精确重现请求的场景（如调试、编写更全面的单元测试）以及模型行为更高程度的控制非常有用。OpenAI团队一直在运用此功能来进行公司内部的单元测试，并发现它非常有价值。 此外，在未来几周OpenAI将推出一个功能，将返回GPT-4Turbo和GPT-3.5Turbo在未来几周生成最有可能输出Tokens的对数概率，这对于搜索体验中构建自动化完成等功能非常有用。 伴随GPT-4的更新，GPT-3.5也得到了升级，新版GPT-3.5 Turbo具有更长的上下文和更强的指令跟随功能。拥有默认支持16K的上下文窗口，支持改进的指令跟随、JSON模式和平行函数调用。新版GPT-3.5Turbo在公司内部评估显示在生成JSON、XML、YAML等格式跟随任务方面，性能提高了38%。开发者可以通过调用API中的gpt-3.5-turbo-1106来访问新模型。 1.2.引入多模态能力，视觉理解与生成 本次大会引入了功能性强大的多模态API。OpenAI开发者大会上同时推出DALL·E 3、GPT-4Turbo视觉、文字转语音（TTS）模型的新模态API。 开发者目前可以将文生图多模态模型DALL·E 3集成到他们的应用程序和产品中，通过使用OpenAI的Images API中指定‘dall-e-3’作为模型。例如Snap, Coca-Cola和Shutterstock等公司已经使用DALL·E 3来为客户和运营活动进行程序化地生成图像与设计。 与旧版本DALL·E 3类似，API包含内置的内容审核功能来保护开发者开发的应用程序以免受滥用。其API提供不同的格式和质量选项，价格从$0.04/张起。 图3：可口可乐公司组织活动用户运用DALL·E 3生成排灯节贺卡 GPT-4Turbo视觉具有强大的处理和分析图像数据的能力。它可以在API中接受以图像为输入，使其能够实现如生成图像标题、详细分析实际图像、阅读带有图表的文档等应用场景。比如，BeMyEyes运用这个技术帮助盲人或视力低下的人完成日常任务：识别产品或在商店内导航。此外，开发者可以通过在API中使用‘gpt-4-vision-preview’来访问GPT-4Turbo视觉功能。 图4：BeMyEyes应用采纳GPT-4 Turbo视觉模型生成文字帮助用户识别产品 新版文字转语音模型（TTS）具有极其自然的音质。开发者可以通过文本转语音API生成接近人类的语音。OpenAI的新TTS模型提供了六种预设声音选择，以及两种模型版本：‘tts-1’和‘tts-1-hd’。’tts’是针对实时应用场景进行了优化，而‘tts-1-hd’对质量进行了优化。其价格从$0.015起（每1000个字符）。 图5：TTS模型提供六种预设声音通过文本在API中生成接近人类的语音 1.3.AssistantAPI来临—为开发者打造代理体验 OpenAI新推出AssistantAPI，是一个旨在为开发者在应用程序中构建类似代理体验、具有特定的指令、运用额外的知识和调用模型和工具来执行任务的API。 AssistantAPI以灵活的设计方式，用例范围包括自然语言数据分析应用，编程助手，AI驱动的度假计划工具，声控DJ、智能视觉画布等。其关键的改变在于该API具有持久和无限长的线程（Thread）。它提供了如代码解释器（Code Interpreter）、检索(Retrieval)以及函数调用(Function Calling)功能，可以承担以前用户必须自己完成的繁重工作，并能构建高质量的AI应用程序。 AssistantAPI与应用程序结合打造更丰富的互动体验。函数调用使得Assistant能够调用开发者定义的函数，并将响应结果整合到它们的信息中。在OpenAI开发者大会中，用户向Assistant提问在巴黎十大最值得做的事情，该功能随后列出十大最值得做的事并同时将其中的旅行景点在地图进行了实时的标记。这种整合使得自然语言界面能够与应用程序的组件和功能进行流畅的交互，它真正展示了AI与用户界面构建的和谐关系，其中Assistant实际上在执行操作。 图6：Assistant API通过函数调用列出在巴黎十大最值得做的事 图7：Assistant API通过函数调用同时将旅行景点标记地图上 检索功能通过利用模型外的知识（如专有领域数据、产品信息或用户提供的文档来增强Assistant（助手）的能力。因此用户无需计算和存储文档的嵌入，也无需实施分块和搜索算法。Assistant API会根据用户在ChatGPT中构建知识检索的经验，优化检索技术。 在OpenAI开发者大会中，一张电子机票的PDF文件只需将它放到结合Assistant API的旅行应用界面上，通过检索功能，便可获取机票上的关键信息。 图8：Assistant API检索功能获取电子机票信息（获取前） 图9：Assistant API检索功能获取电子机票关键信息（获取后） AssistantAPI中的代码解释器能够在沙盒执行环境中编写和执行Python代码，生成图标和图形，处理具有多样数据和格式的文件。它允许Assistant迭代运行代码来解决复杂的编程和数学问题等。在OpenAI开发者大会中，代码解释器协助用户计算旅行费用份额（ 包括计算旅行各类费用 、 旅行人数 、 汇率等 ）。此外 ， 用户可以前往Assistants Playground在无需任何代码的情况下使用AssistantAPI测试版。 图10：通过代码解释器来解决旅行经费问题 1.4.新模型价格快速下降，应用端成本迅速降低 新推出的GPT模型价格相比旧模型下降显著。GPT-4Turbo输入Tokens较GPT-4 8K价格低了3倍，为$0.01（价格以每1000Tokens为单位）；输出价格为为$0.03，相比GPT-48K低2倍。GPT-3.5Turbo输入Tokens价格为$0.001，相比16k旧模型价格便宜3x。 输出价格低2倍，为$0.002；开发者之前使用GPT-3.5Turbo4k受益获得33%的降价，为$0.001。这些较低的价格仅适合于目前推出的新GPT-3.5Turbo。微调后的GPT-3.5 4K模型的输入Tokens价格降低了4倍，至$0.003，输出Tokens价格较旧模型降低了2.7倍，至$0. 006。新GPT-3.5 Turbo微调模型16与其4K微调模型价格相同。这些新价格同样也适用于微调的GPT-3.5-turbo-0613模型。 图11