面向大模型的新编程范式

面向大模型的新编程范式 王昕 微软（中国）有限公司 高级技术战略专家 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 王昕 请替换 微软（中国）有限公司高级技术战略专家 王昕有20年从事软件系统设计、开发和产品管理的经验，目前在微软中国从事技术战略和技术生态孵化工作，推广基于OpenAI等大语言模型技术的新应用架构。王昕对IT行业新技术始终保持第一线的跟踪，多年在GOPS、InfoQ，CSDN等技术论坛从事技术布道和经验分享工作。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 智能应用的新机遇 目录 开发运营模式 开发平台与工具 开发最佳实践 01智能应用的新机遇 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 生成式AI正在改变应用开发 ArtificialIntelligence1956 1997 2017 GenerativeAI2022 AI演变 GenerativeAi技术应用发展实现图 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 生成式AI正在改变应用开发 GPT-4/3CodexDALL·E2/3ChatGPT 提示： 为一家冰淇淋店写一个标语。 回应: 我们的每一勺都能带来微笑! 提示： Tablecustomers,columns=[CustomerId,FirstName,LastName,Company,Address,City,State,Country,PostalCode] 为德克萨斯州的所有名为Jane的客户创建一个SQL查询= 回应: SELECT* FROMcustomers WHEREState='TX'AND FirstName='Jane' 提示：一只白色的暹罗猫回应: 陆地上跑得最快的动物是什么？ 猎豹，其速度可达每小时60英里（97公里）。 是什么让它们这么快？猎豹是为速度而生的，有几种 适应能力，使它们成为速度最 快的陆地动物：苗条的身体、长腿、灵活的脊椎、大鼻孔和不会缩回的爪子。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 引起变革的核心技术大型语言模型LLM GOPS全球运维大会暨XOps技术创新峰会2024·北京站 最新的大模型能力GPT-4o和其他模型能力比较 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 Benchmark指标的解读 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 MMLU(MeasuringMassiveMultitaskLanguageUnderstanding)的问题 MATH(MathematicalProblemSolving)的问题 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 MGSM(MultilingualGradeSchoolMath)的问题 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 DROP(DiscreteReasoningOverParagraphs)的问题 阅读以下文章，并回答问题： "" 从1231年开始，高丽间歇性地遭到蒙古帝国的入侵。在此期间，高丽由崔氏家族领导的军事政权控制。1232年，名义上的国王带领政府逃到江华岛，蒙古骑兵无法登陆该岛，从而抵抗蒙古入侵。不幸的是，由于基础脆弱，高丽经常面临叛乱。1258年的叛乱导致蒙古人建立了双城和东宁府。与这些叛军不同，三别抄是军事政府的一个机构，由崔氏家族组织以维持安全。然而，不同于崔氏私人护卫队，三别抄承担了由警察和战斗部队执行的公共职能，实际上取代了六军。1258年，崔氏家族的第四代崔义被金俊利用三别抄推翻。金俊采取了亲蒙古政策，并派遣王储王沇到蒙古帝国。同时，国王高炯和王储接近蒙古人，以从金俊手中恢复权力。然而，在1268年，金俊被林衍下令的三别抄消灭。第二年，林衍试图替换王沇的计划被王储在蒙古军队的帮助下逆转。1270年，林衍的继任者林惟茂被亲蒙古派用三别抄杀死。这标志着军事政权的终结。 """ 问题： 文中提到的哪两个有年份的重要事件，发生年份正好相隔两年？ 02开发运营模式 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 人工智能先驱赫伯特·西蒙所期待的“人的智能” 传统AI/ML⼿术⼑⼑ “训练模型很难” 机器学习 ���� 认知 ⼑⽚预训练基础模型 上下⽂ ⼑⽚特定的世界知识 赫伯特·西蒙的智能剪刀 困难流程 考试�现问题要重新复习⼀年 简化流程 随学随考，快速迭代 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 LLM引领的新的应用模式 传统智能对话应用开发 ⼿动创作的主题 预测并为每个可能的⽤户问题构建⼀个⼿动主题 然后，随着内容的变化，使这些主题 业务关键性 保持最新 错失良机 传统智能应用（例如Azure） •创建Azure租户和基础结构 •对数以千计的话语和对话进行注释，以构建自定义NL模型 •使用VisualStudio和BFSDK在代码中创建主题 •托管Azure机器人服务并实例化相应的通道 •将应用部署到服务 •构建自己的自定义分析管道 •每次您的知识内容发生变化（例如，不同的时间）时，请在代码中更新副驾驶 花在⼿⼯构建主题上的时间 错过或升级的对话 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 构建的主题 生成式AI的智能对话应用开发 ⼿动创作的主题 使⽤CopilotStudio快速⼿动创作关键业务主题 业务关键性 发布您的知识源和API，⽣成式AI将处理 其余⼯作 CopilotStudiowithGenerativeAI •完整的E2ESaaS–无需托管或管理基础设施 •无需显式NL训练或自定义模型，自带强大的大型语言模型 •使用生成式AI指向知识来源并在几分钟内拥有有用的机器人 •使用易于使用的图形界面和1000多个预构建连接器，使用关键业务主题自定义副驾驶，或调用自定义API •开发人员、低代码用户可以在同一画布内进行协作，并排进行图形多创作和代码 ⾃定义构建 主题 + Copilot 的帮助 主题由⽣成式Answers和 Actions处理 长尾的⼴泛覆盖，随着内容的变化，副驾驶 的答案也随之变化 构建的主题 •只需点击几下，即可在几分钟内发布到您选择的频道 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 LLMOps——新的AI应用开发运营流程 1.数据管理 探索性数据分析、数据规范化、数据质量、标记和丰富 2.实验 使用不同的数据、提示或代码运行基于LLM的解决方案以更改输出 7.反馈和数据收集 将手动或自动生成的用户反馈路由到试验以提高解决方案性能 OuterLoop 6.监控 跟踪和分析生产环境中的系统运行状况和模型性能 InnerLoop 3.评估 根据预定义的指标和先前实验结果的结果评估新输出的性能。 4.验证和部署 在部署到生产环境之前，将模型和解决方案组件部署到QA环境以评估性能 5.推理 根据部署的模型和用户输入进行预测，并将结果返回给用户。 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 从MLOps到LLMOps的范式转变 传统MLOpsLLMOps 目标受众要共享的资产 指标/评估 ML模型 机器学习工程师数据科学家 模型、数据、环境、功能 准确性 从头开始构建 机器学习工程师应用开发人员 LLM,agents,plugins,prompts,chains,APIs 质量：准确性、相似性危害：偏倚、毒性 正确：接地性 成本：每个请求的令牌延迟：响应时间、RPS 预构建、微调的API（MaaS） GOPS全球运维大会暨XOps技术创新峰会2024·北京站 在线监控和可观测性 Query 同一任务可以有多种输入变体 Grounding 数据源问题 RAG检索错误 Prompting 错误的提示 模板错误 LLM 幻觉 数据隐私泄露 知识产权风险 Answer 错误答案 相同的任务，但答案不一致 LLM系统本身的非确定性 通过持续跟踪和监控实现信任 诊断分析，持续改进 及时发出警报，确保符合法规要求 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 03开发平台与工具 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 运用CopilotStack框架开发智能应用 形成完整智能应用的开发工作 使用LLM提供程序设置订阅 上传、分块和创建知识的向量索引 开发一个Copilot类应用的工作 设置一个进程以保持索引同步与知识索引和其他API集成为特殊方案开发自定义工作流 构建业务流程协调程序以在生成式系统和对话系统之间进行仲裁 Setuphostingforyourbackendservice 与所需的用户体验平台集成 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 AzureAIStudio生成式AI使用场景 企业级聊天 Betterknowledgemining AzureAIStudio 使用场景 语音分析 Betteranalyticsandservice Buildyourowncopilot Yourdata.Yourapps.Yourpeople 内容生成 Newproductsandservices Hyper-personalization Bettersalesandmarketing GOPS全球运维大会暨XOps技术创新峰会2024·北京站 引入企业自身的数据 Azure数据源 (search,files,databases,storageetc.) ApporCopilotagent AzureOpenAIService 第三方数据源 (files,databases,storagedataetc.) GOPS全球运维大会暨XOps技术创新峰会2024·北京站 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 PromptFlow在UI与代码之间无缝切换 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 基于无代码构建智能应用——CopilotStudio CopilotStudio是一款端到端的对话式AI产品，适用于 使用生成式AI、大型语言模型和数据构建自己的Copilot或扩展MicrosoftCopilot。 用于CopilotStudio开发智能应用 与AI服务集成 与AzureAIStudio、AzureCog服务、BotFramework和各种其他Microsoft对话服务集成 创建、管理、发布和扩展Copilot 在几分钟内完成-全部来自一个工具和E2ESaaS服务 构建和发布 与GenAI就知识进行聊天通过您的文件、网站、内部共享、Dataverse、第三方系统等获取企业特 定的答案 监控和改进 具有丰富的开箱即用见解和分析 创建特定主题用您希望严格控制的特定、精心策划的主题来补充生成性响应。使用强大的图形工作室轻松构建它们 发布到多个频道,并立即在SaaS服务上上线，或选择使用自定义功能扩展CopilotforMicrosoft365 CopilotStudio 分析和改进 构建操作和插件创建操作、插件、使用1000多个预构建连接器或PowerAutomate调用后端和API GOPS全球运维大会暨XOps技术创新峰会2024·北京站 04开发最佳实践 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 提示 Prompting 嵌入 Embedding •针对LLM模型的 Completion