Azure OpenAl生成式人工智能白皮书

前言 生成式AI成为人工智能领域新的关键词。吸纳从机器智能到机器学习、深度学习的关键技术，生成式AI更进一步，能够根据提示或现有数据创建新的书面、视觉和听觉内容。在此基础上，大模型和大模型应用一时涌现，并迅速确立AI落地新范式。据data.aiintelligence数据显示，2023年生成式AI应用激增。2024年AI将会带动10%的应用下载量，包含GenAI功能的应 用下载量将同比增长40%。 面对生成式AI及其应用落地的迅猛发展，微软期待用AI重新定义软件开发与工作的未来。从AzureOpenAI、CopilotStack、开发工具到协作应用等领域，微软将AI融入现有的软件和服务生态，从提供AI工具到构筑AI平台和生态，全方位帮助开发者应对技术革命，予力人们运用AI，让每个人都可以在工作和生活中，受益于这些突破性技术，探索全新机遇与无限可能。微软的AI战略包括三个部分：将AI副驾融入每个微软云解决方案、帮助客户通过AI创新和转型以及负责任的AI。 本白皮书将全面介绍MicrosoftAzure生成式人工智能领域的解决方案、工具指南、最佳实践以及支持AI的云端算力及架构优势，旨在帮助处于AI不同阶段的客户选择适合您战略的落地路径，本白皮书介绍的落地方案涵盖从直接使用微软AzureAI和AzureOpenAI服务，到自建大模型等四层路径。 2 目录 前言2 第一章AzureAI及AzureOpenAl服务概括4 第二章生成式人工智能落地实践的四种路径7 路径一直接使用AzureOpenAI模型:添加您的数据至8 AzureOpenAl模型 路径二Promptengineer提示工程优化11 路径三基于现有模型进行Fine-tuning微调12 路径四训练您的自有模型15 第三章生成式人工智能落地成功案例参考18 汽车行业:梅赛德斯-奔驰18 零售行业:沃尔玛20 游戏行业:完美世界21 专业服务行业：KPMG22 零售行业：CarMax23 在AzureAI的帮助下，您可以为您的组织构建可以立即推向市场的先进应用程序。以微软为例，Microsoft产品及应用平台如Microsoft365Copilot、Dynamics365Copilot、PowerPlatform都由AzureAI驱动，为每个人和组织提效生产力。 第一章 AzureAI及AzureOpenAl 服务概括 AzureAI服务 AzureAI服务包括了Azure机器学习平台、认知服务和应用AI服务。其中，Azure认知服务有五大支柱，分别是视觉、语音、语言、决策和AzureOpenAI服务。 AzureAI服务通过现成的预生成可定制的API和模型，帮助开发人员和组织快速创建智能、前沿、面向市场且负责任的应用程序，包括对话、搜索、监视、翻译、语音、视觉和决策的自然语言处理。这意味着，您可以使用AzureAI组合构建企业规模的智能应用，并使用生成式AI重新构想你的业务。 AzureAI组合 AzureOpenAI服务 生成自己的助手和生成式AI应用程序。 AzureAI搜索 基于你自己的数据构建、微调和训练自定义AI模型，获得独特的优势。 AzureAIContentSafety 在应用程序和服务中检测用户生成的和AI 生成的有害内容。 负责任的AI仪表板 使用统一的仪表板实践负责任、高质量的 AI，能够轻松评估和调试机器学习模型。 AzureAI提示流 创建可执行的PromptFlow，通过可视化图 形链接大型语言模型、提示和Python工具。 机器学习运营(MLOps) 加速机器学习工作流的自动化、协作和可 重现性。 AzureOpenAI目前为各类企业提供两类服务模式: PayAsYouGo即用即付型模式: 适合各类AI场景的测试及上线应用，可在AzurePortal后台直接启用。 预配置吞吐容量的专属模式:适合各类追求稳定性能及稳定延时的AI生产应用。 通过提供稳定的最大延迟和吞吐量保障稳定可预测的性能预留专属的容量 成本节省:与按消耗Tokens计费的PayAsYouGo即用即付模式相比，可节省成本 5 微软AI服务一览 AzureOpenAI服务 微软Azure作为OpenAI的独家云服务提供商，自2019年开始便以出色的、面向AI时代的领先架构，为OpenAI的快速发展提供助力。基于双方的战略合作，现在Azure全球版客户可以通过AzureOpenAI服务直接调用OpenAI全部模型，包括ChatGPT、GPT-4、GPT-4vision、Codex和DALL.E等模型，并享有Azure企业级99.9%的可用性SLA、企业级安全保障和为人工智能优化的基础设施。目前有18,000多家组织使用AzureOpenAI服务。 负责任的人工智能原则 在科技行业里，微软率先提出了打造负责任的人工智能的决心。2016年，微软CEO萨提亚纳德拉发表了一篇关于人工共同责任的专栏文章，几个月后，第一次公开提出了微软的人工智能准则：公平、可靠和安全、隐私和保障、包容、透明、责任。 当AI进入主流产品和服务时，这些原则对于创建负责任且值得信赖的AI至关重要。它们以两个角度为指导：道德和可解释。阅读标题链接可阅读详细细节。 Microsoft'sResponsibleAlPrinciples Reliability&Safety Fairness Privacy&Security Microsoft'sResponsibleAPrinciples Transparency Inclusiveness Accountability Buildingblockstoenactprinciples ToolsandprocessesTrainingandpractices RulesGovernance 第二章 生成式人工智能落地实践的四种路径 结合您的现有数据直接使用AzureOpenAI模型：适合各类AI场景的实现 1 微软为各行业客户根据AI战略阶段不同提供四个层次的AI创新支持： Promptengineer提示工程优化：提高大语言模型生成响应的准确性 基于现有模型进行Fine-tuning微调：使用示例数据重新训练现有的大型语言模型，从而生成使用提供的示例经过优化的新的“自定义”大型语言模型。 2 3 训练您的自有模型：AzureAIInfra云端大规模AI算力平台方案 4 其中，90%的使用场景可以通过前两层的落地方案实现。在任何路径下，您都可以通过使用检索增强生成(RAG)模式，与预训练的大型语言模型(LLM)和你自己的数据配合使用以生成响应。 同时，也可以通过使用Azure大语言模型运营功能(LLMOps)实现高效提示工程和开发部署，以简化的过程来管理大模型应用的端到端生命周期。 微软为各行业提供四个层次的AI创新支持 路径一直接使用AzureOpenAI模型:添加您的数据至AzureOpenAI模型 1.1AzureOpenAI服务上的可用模型 语言模型 GPT-4-0125-preview：GPT-4-0125-preview已发布,新模型旨在减少模型未完成任务的“懒惰”情况，及其他升级。 GPT-4：国际版AzureOpenAI服务的客户和合作伙伴可以申请访问GPT-4，并开始使用OpenAI目前最先进的模型构建应用。通过基于AzureAI优化的基础设施、企业级可用性、合规性、数据安全和隐私控制提供的支持，以及与其它Azure服务的多种集成，实现您的大模型应用架构。 GPT-4-Turbo：GPT-4Turbo功能更强大，模型信息更新到2023年4月。它具有128K上下文窗口，因此您可以使用RAG（检索增强生成）等技术，基于企业用例所需的自定义数据定制应用程序。 GPT-3.5-Turbo：GPT-3.5-Turbo现已更新至1025版本。 AssistantsAPI 客户可以开启CodeInterpreter,Functioncalling等工具在自己的应用程序内构建拥有指令的AI助手,并利用模型、工具和知识来响应用户查询。AzureAssistantsAPI目前已支持代码解释器和函数调用，检索功能将很快发布。 TTS模型 OpenAI的TTS模型在AOAI和AzureAISpeech同时上线。新的TTS模型能生成 6种预设不同个性和风格的人类品质语音。 多模态模型 GPT-4-TurbowithVision：GPT-4TurbowithVision是由OpenAI开发的大型多模态模型（LMM），支持图像分析并能对图像有关问题生成文本响应。它结合了自然语言处理和视觉理解能力。GPT-4TurbowithVision达到了图像理解的先进水平。它不仅仅能够识别图片中的对象，更注重理解上下文和细节，比如创建详细的图像标题、提供丰富的上下文描述、回答关于视觉内容的问题或分配智能标签。 微调 AzureOpenAI服务推出了三款模型的Fine-tuning功能（Babbage-002、Davinci-002和GPT-3.5-Turbo）。用户可以使用AzureOpenAI服务或Azure机器学习对Babbage/Davinci-002和GPT-3.5-Turbo进行Fine-tuning。GPT-3.5-Turbo1106模型已支持fine-tuning,同时Training和Hosting的成本比GPT-3.5-Turbo都降低50%。Babbage-002和Davinci-002支持completion，Turbo支持对话式交互。通过几个简单的命令，您就可以指定基本模型、提供数据、进行训练和部署。点击阅读关于微调的介绍文章 图像 DALL·E3：DALL·E3是一种支持文本提示的图像生成模型，助力用户探索创意表达的新领域，通过语言和视觉艺术的交融提供独特的体验。提示越详细，图像效果就越好。您甚至可以在已创建的图像中添加文本。 转录和翻译 Whisper：Whisper模型提供转录和翻译音频内容的功能，同时支持大规模高质量的批量转录。 9 1.2添加您的数据 AzureOpenAIServiceonyourdata，基于这项全新功能，用户可以使用自己的数据驱动OpenAI模型，无需训练或微调，即可释放全部数据潜力。 AzureOpenAIServiceonyourdata能够获取并打通所有来源的数据。无论数据是存储在本地还是云端，该功能将提供无缝连接以解锁数据的全部潜力。借助这一先进工具，您可以高效处理、组织、优化数据， 获得有价值、高质量的洞察。同时，用户友好的API和SDK，将与您的现有系统轻松集成；定制化示例应用程序助力快速部署。此外，数据共享和利用也将变得更轻松，您可以在企业内部或面向客户快速实现信息分发。 AzureOpenAIServiceonyourdata连接多个数据源，包括： ■Azure认知搜索索引：您可以将数据连接到Azure 认知搜索索引，实现与OpenAI模型的无缝集成。 ■AzureBlob存储容器：将数据连接到AzureBlob存储容器，使用AzureOpenAI服务轻松获取数据，用于后续的分析和对话。 ■本地文件：连接您的AzureAI门户文件，为数据连接提供灵活性和便利性。数据在摄取、切分之后，将导入Azure认知搜索索引。txt、md、html、Word文件、PowerPoint、PDF等格式的文件都可以用于分析和对话。 使用AzureOpenAI服务数据支持的步骤如下： ■连接数据源：使用AzureAIStudio连接您所需的数据源，可通过Azure认知搜索索引、Blob存储容器、上传本地文件等途径完成连接。 ■基于数据进行提问和聊天：基于数据进行提问和聊天：连接数据源之后，您就可以通过AzureAIStudio，向OpenA