大模型时代的AI能力工程化

大模型时代的 AI能力工程化 肖然ArchSummit2024 ©2024Thoughtworks 2 ©2024Thoughtworks|Confidential 李开复在2023年3月19日发布ProjectAI2.0时谈到AI1.0和AI2.0的关键变化 Source：量子位 基础模型：OntheOpportunitiesandRisksofFoundationModels3 AI进入2.0时代 AI应用的成本越低，AI应用的范围越大 海量数据标注VS自监督学习 单一领域任务VS基础模型 （跨领域知识的） 高成本模型训练VS低成本模型微调 当具备跨领域知识的基础模型出现之后，微调适应不同领域任务的 AI模型的成本极低 ©2024Thoughtworks 用自然语言提出问题 我们正在进入一个新应用时代！ You 用自然语言给出答案 内部或外部的工具/模型 Goals AI助理 LLM LineofVisibility LargeLanguageModel Tasks Task1 Task2 TaskChain Task3 ToolaModela Tool/ModelMesh Toolb TasknModeln OutputMemory ©2024Thoughtworks Source:GenerativeAIPoV-GenerativeAIinFashion4 出现了许多新的应用场景 客户 有效性 用户 经验工程效果 商业软件开发 研发 AI驱动创新产品 市场营销、销售、客户服务、公共信息... 增强个人能力 增强企业能力 增强SDLC 增强个人能力 人工智能服务 打造人工智能服务 数据工程师算法工程师 AI增强个人能力 培训,问答系统,人工智能助手,AI4Science,... AI辅助SDLC 软件工程、数据工程... 基础模型 SDLC创新产品个人能力平台工程 ©2024Thoughtworks AI平台工程 人工智能服务平台、MLOps、Dataloop 5 融合AI技术的应用开发变得更复杂 PublicCloudService (AzureGPT,OpenAI,etc.) AITools EmbeddingModels Security (Cybersecurity,AIsecurity,andPrivacy) ExistedApplication (CMS,CRM,etc.) 为了将GenAI应用于生产环境，我们需要考虑一系列问题，如安全性与合规性、模型选择与部署、资源应用与购买等。 ExistedBackendServices AIAgents Vectorstore MLOps&LLMOps (deployment,serving,fine-tuning) LLMs&PromptManagement Compliance&Dataloop (Audit&Logs) BackendDataPlatform BackendDatabases 如果我们需要大规模应用GenAI怎么办? ©2024Thoughtworks6 上一个AI时代 企业应用的惊人事实 87%的AI模型开发项目未投入生产 -VentureBeat 50%的时间花在模型部署上 -Algorithmia ©2024Thoughtworks https://venturebeat.com/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/ AI模型的治理仍然很随机 AI模型治理面临的共性难题：难管理、难部署、难监控、难协作 简单数据 (结构化数据为主，包含简单文本数据) 复杂数据 (非结构化数据为主，另含视频、雷达等多模态数据) 常见场景：推荐引擎、精准营销、异常检测等业务场景；非结构化数据以文本分类，情感分析为主 开发模式：本地，单机即可完成数据处理、训练和发 布等所有工作，GPU资源需求小 难点挑战：难以获取数据，数据权限管理和内部流程平台需求：开放数据、模型管理、部署和运行 常见产品：Dataiku,Databricks 常见场景：以OCR、语音识别、语音合成、文本生成、视频生成等多模态生成式AI为主的应用场景开发模式：以云端服务器微调的方式训练模型，难点挑战：数据标注与数据合成，GPU资源需求大平台需求：数据标注工具、模型管理、部署和运行 常用产品：Databricks,Sagemaker,PaddlePaddle, ModelArts,... 小数据量 单机可完成模型开发 常见场景：自动驾驶、语音识别、各类生成式AI，各类数据的基础模型开发 开发模式：多人协作，基于云端算力打造自研平台难点挑战：标注数据成本高，算力需求巨大 平台需求：端到端支持数据采集、挖掘、标注、算法 训练、模型评估、模型管理等常见产品：自研机器学习平台 常见场景：推荐引擎、精准营销、异常检测等业务场景；非结构化数据以文本分类，情感分析为主 开发模式：云端多人协作，根据企业相关人员规模选择平台产品或自研平台 难点挑战：难以获取数据，数据权限管理和内部流程平台需求：大数据平台、开放数据、模型管理和部署常见产品：Dataiku,Databricks,自研机器学习平台 大数据量 模型开发需要多机多卡 ©2024Thoughtworks 8 “难管理、难部署、难监控、难协作”参考《人工智能化研发运营一体化(Model/MLOps)能力成熟度模型第一部分：开发管理》 AI能力工程化才刚刚开始 行业内探索MLOps过程管理和LLMOps模型治理的标准，但构建全流程的AI研发运营体系仍然任重道远。 AI模型开发 ●小作坊式的开发，工具链碎片化 ●AI资产（算法/数据/算力）管理散乱 ●数据来源分散，数据不标准，获取难 考虑到AI模型开发方法发生巨变的今天，需要全新思考如何解决这部分问题！ AI模型交付 ●一旦交付，很难重新训练和发布新模型 ●缺少基础设施支持大规模训练和推理 ●无法观察监控模型在生产环境的运行状态 AI应用协作 ●AI团队&IT：模型适配只能交给AI团队 ●AI团队&业务：业务不知道已有AI能力 ●AI团队&AI团队：AI模型分享交流难 ©2024Thoughtworks 参考《MLOps模型交付标准解读》、《魔塔中文开源模型社区-模型即服务》9 实现AI能力工程化，HuggingFace经验值得借鉴 HuggingFace不是一个AI模型开发平台，而是AI模型治理平台和应用社区，吸引大家用起来。 1.降低模型开发成本 2.降低模型使用难度 3.助力模型分享交流 HuggingFace关注模型的应用、探索和社区 ©2024Thoughtworks https://thenewstack.io/how-hugging-face-positions-itself-in-the-open-llm-stack/10 面向未来 重点抓手 激活创新 统一服务 AI能力工程化发展路径 StructureData IntegratewithDataPlatform Self-serviceAIPlatform UnifiedAIModelPlatform ModelasaService AIMarketMLOps FoundationModels FinetuneFoundationModel DatasetManagement SelfServiceFoundationModelFinetune DataLoop UnstructuredData ConversationAIforInternalusecase ConversationAIforexternalusecase VersionedDatasetManagement GAIasaservice SelfServiceGeneratorApps SelfServiceChatApps ConversationAIasaService Multi-Agent DigitalHumanasaService StandardServices:OCR/ASR/TTSetc. SelfServiceKnowledgeBase SLAMeasurement Community ©2024Thoughtworks Initial 具备基本能力 Defined 提供标准化服务和管理 Managed 服务度量与全面治理 Optimizing 引领创新与持续优化 11 GluonMeson平台能力 Thoughtworks交界平台 成本下降 ●单模型的性能提升提效，推理加速。 ●实现多模型的路由选择 命名来源背景介绍： 胶子（gluon）是负责在两个夸克之间传递强作用力的基本粒子，介子（meson）是粒子物理学中一个夸克和一个反夸克通过强作用力捆绑在一起的复合粒子。 象征着我们平台是介子，通过平台的能力（胶子），将大模型和各业务场景凝聚到一起。 安全实践 ●企业级AI安全监测与评估；企业级Chat 提升应用效果：在GM平台下，Prompt帮助模型更好的理解任务，COT模型的编码过程更加优化，FT则使得模型更好地适应特定任务 审计合规 ●平台避免数据出境等带来的数据安全 ●个人保护法PII/可审计 能力复用 ©2024Thoughtworks LLMOps运维简化 12 面向AI2.0的企业级平台蓝图 管理层愿景目标对齐 业务价值链AI影响分析 AI创新机会点识别和评估 端到端智能化旅程设计 优先级评估和落地演进路线 价值评估度量体系 1持续的AI战略设计和规划（ContinuousAIStrategyDevelopment） 2支持规模化的AI方案创新工厂（AISolutionFactoryatScale） 2.4以数据为中心的持续改进和AI治理 模型与AI服务运营 服务发布、持续监控、A/B测试、资源管理、成本管理 合规治理 AI服务可追溯、内容审查、签名水印、日志审计 安全评估 在数据收集、模型训练和模型运行阶段提供防御手段 模型开发 算法开发、模型调优、模型微调、构建集成、模型评测 数据开发 数据采集、数据挖掘、数据标注、数据集管理、测试验证 流程管理 项目与需求管理、数据流通、项目追踪、流程审批 2.3AI原生的应用工厂-价值驱动·持续运营 效率-数字员工 效率-伴随助手 体验-智能检索 体验-AI工作空间 体验-多模态互动 体验-智能IDE 创造-内容生成 AI运营门户 AI 场景运营 Q&Achatbot、文档阅读理解助手、总结摘要Agent、情感分析Agent、翻译Agent、文本转语音Agent…etc AIAgent模版集市 AI Knowledge/知识 客户信息、产品信息、交易信息、流程处理信息、术语知识、协议知识、规章制度、技术规格... 开放服务 2.2AI服务平台-可控·标准化·持续交付·开放 Skill｜技能 总结、聚类、文本生成、文本分类、意图识别、模式识别、检索、推理、 模型 服务内部与外部的生成式AI模型（GLM/LLaMa/Baidu/Aliyun…） Tools|工具 APILookups、NL2SQL、数据可视化、自然语言处理、计算机视觉、图形处理、机器学习框架... 判别式AI模型（CV/NLP/分类/回归） 统一管理、调度、监控的开放服务（通过API、SDK、算子等形式） 资源监控 任务监控 集群监控 AI容器服务 AI镜像管理 CPU/GPU资源动态调度 国产算力资源动态调整 物理机算力资源动态调度 虚拟化硬件 2.1AI基础设施-低碳·弹性·异构·云中立 算力资源管理与调度 推理云集群（容器化算力、物理机算力） 训练云集群（容器化算力） 算力底座 AI转型推动组织 AI创新框架和管理流程 具备端到端能力的AIPoD团队 AI能力卓越中