大模型时代生产力工具转型的技术探索_詹明捷

大模型时代—— 生产力工具转型的技术探索 商汤科技AIGC研究与应用团队负责人詹明捷 人工智能新范式（AGI）已经到来 AIAI+场景应用AI新范式（AGI） 超大模型有人类反馈的强化学习 1980 1990 20122022 Prologs&Lisp机器学s习算法 专家系统 互联网娱乐 智能手机智慧医疗 DALL-E2 由文字生成高清 原创图像 PaLM-E 具象化多模态 语言大模型 解答特定领域的问题 CNN夺得ImageNet第一正确率超越第二名近10% 智慧城市自动驾驶 ChatGPT发布 可理解人类语言并生成类似 人类的书面文本内容 StableDiffusion使用消费级显卡获取 文本驱动的图像 GPT-4 提供完全不同可能性 的多模态模型 突破工业红线高效的通用智能 大模型使能的AGI与传统AI处理任务对比 零样本多模态思维链 （Zero-shotMultimodalChain-of-Thought） 明确任务明确任务明确任务 AI AGI 物体检测 ObjectDetection 给定图片 Q:这个图标是什么意思?我们应该做什么？ AGI 文字识别 OCR 做决策是 是否要减速？ 我们一步步思考 •30km/h •100m •小孩 •学校区域 •前方100米有一所学校 •你需要小心小孩，并将车速降低到30km/h以下 大模型核心能力 更高算力 千卡起步，GPT4万卡 算力 庞大训练数据 干净、多维、海量的数据 数据 模型算法 有效的Chain-of-thoughts 大模型 算法工程化 工程化能力 架构设计、分布式训练等 LLM技术路线演化，GPT类模型处于领先 大模型关键技术路径 •Encoder类模型（以BERT为代表）在过去的方案中经过fine-tune性能会更强。OpenAI也是坚持自身以生成式任务为目标的技术理想，终于实现突破 •随着考察任务的变化，现在大模型更关注zero-shot的文本生成能力（更贴近AGI），Decoder-Only类模型（以ChatGPT为代表的）更方便利用海量的无监督文本数据进行训练 •Decoder-Only类模型结构效率更高，OpenAI以系统工程的角度看待训练，着重训练效率，坚持此路线 •如今大模型训练成本极高，由于历史原因，各企业组织（如Google）存在路径依赖，大多沿用自身已经验证通过的路线。 ChatGPT等语言模型发展历程（进化树） Encoder-DecoderorEncoder-Only(BERT类) •训练：MaskedLanguageModels •模型类别：Discriminative •预训练任务：Predictmaskedwords Decoder-Only(GPT类) •训练：AutoregressiveLanguageModels •模型类别：Generative •预训练任务：Predictnextword 信息来源：ThePracticalGuidesforLargeLanguageModels 用好数据 近几年NLP大事件 大模型 ChatGPT(OpenAI)llama2(meta)Galactica(Meta)RETRO(DeepMind)WebGPT(OpenAI)Flan-PALM(Google)T0(huggingface) GPT3(OpenAI) PALM(Google)Megatron-LM(Nvidia)Turing(Microsoft)GLM-130B(清华) 盘古(华为) ERNIE3.0(百度) 什么是思维链？ 思维链激发语言模型解锁更强的能力，解锁更复杂的推理任务，右侧图绿色部分为思维链 多任务训练 指令微调 收益分析 编程工具的发展史 打孔卡片编程语言生成式AI AI是生产生产力工具的工具AIFORAI 下一代软件开发范式：AIFORAI 人工智能大模型 智能化、模块坏、标准化的AI生产工具 开发智能化 流程标准化 工具模块化 AI辅助开发、一键调度大算力、数据驱动、快速部署 软件开发不同角色：分析师、程序员和测试员 分析师：分析师的目标是制定高层次的plan并专注于指导程序员编写程序，而不是深入研究实现细节。给定需求X，分析师将分解为几个易于解决的子任务，以方便程序员直接实施，并制定概述实施主要步骤的plan。 程序员：作为该团队的核心角色，程序员将在整个开发过程中接收来自分析师的plan或来自测试人员的测试报告。将两项主要职责分配给程序员：1.编写满足指定要求的代码，遵守分析师提供的plan。2.修复或细化代码，考虑到测试人员反馈的测试报告反馈。 测试员：测试人员获取程序员编写的代码，随后记录包含各个方面的测试报告，例如功能性、可读性和可维护性。与直接生成测试用例相比，生成测试报告更符合语言模型的倾向。 自动Debug 自动Debug 新二八定律：代码=80%AI生成+20%人工 新二八定律：代码=80%AI生成+20%人工 需求输入 “新二八定律”带来软件开发新体验 软件应用 人类诉求 需求描述 自然语言&行为 人机界面 大模型(基础) + 工具&插件 编程语言 库/工具/框架 操作系统 语言与操作系统，是当前人类与世界知识交互的核心媒介依赖: •人类需求的表达/生成方式将发生变化。➡上层行业应用创新➡主流行业应用都可以被重新做一遍 •人类需求被满足的方式和底层依赖发生变化。➡底层编程逻辑变革 业界持续推出生成式AI技术延展 Auto-GPT Plugins CodeInterpreter CoT FunctionCalling MOE … 延展：用代码解决视觉问题 延展：基于多仓库融合的代码生成 延展：基于代码解决数学题 THANKS 如果您有兴趣进一步了解商汤AI代码助手，可联系： sensecode@sensetime.com