ChatGPT新机遇分享：新范式 新时代 新机会

新范式新时代新机会 奇绩创坛深圳分享 2023年4月23号 目录 01新范式 02新时代 03新机会 04奇绩创坛 05问答 目录 01新范式 02新时代 03新机会 04奇绩创坛 05问答 “三位一体结构演化模式”：人、组织、社会，数字化 感知 思考 实现 人类环境 与环境互动 更好地满足 人类需求 通用智能 涌现、代理功能可见、具身 “行动”系统 与环境互动，控制能量转换，实现对物理、生物世界和人类社会的控制，达成预期目标 “模型”系统 将数据转化为知识表达，通过推理和规划来实现预期目标的记忆和泛化 “信息”系统 以数据为信息媒介通过观察与整个人类环境交互捕获环境的信息 -模型与人和社会的关系 -拐点后新范式的发展格局 第三代系统 人类：信息-模型-行动 系统：信息-模型-行动 下个范式：“行动”无处不在 自动驾驶、机器人空间计算 共同进化 第一代系统 人类：信息-模型-行动系统：信息-模型-行动 第二代系统 人类：信息——模型—行动系统：信息-模型-行动 2022-23新范式：“模型”知识无处不在 1995-96互联网范式：信息无处不在 信息（感知） 生态系统 模型（知识）生态系统 行动（实现）生态系统 我们当下的位置 Ⓒ个人电脑/ ⒸPC客户端 ⒸWeb-1 ④Web-2 ⒸAI/ ⑥元宇宙 ⑧脑机接口 磁盘操作系统 服务器 个人电脑互联网 移动互联网/云计算 边缘计算 ⑦Web-3 ⑨量子⑩生物基 技术驱动人类社会发展的结构与范式更迭 新能源科技 新生命科技 新材料科技 新空间科技 数字化程度越来越高=>软件吞噬世界｜科技产业=创新成为生产力资本<=更高的能量转化效率 不断演进的数字化平台 移动互联网/云 （信息生态系统） 人工智能/边缘计算 （大模型/知识生态系统，自动驾驶-机器人/行动生态系统） 新兴平台 （元宇宙，web3，脑机，量子，生物基） 人类的无尽追求 PCPC 驱动力 结构 进化系统 探索优化 空间时间知识 经济 农业化、工业化、数字化 降本增效 信息能量 科技 “可编程”:串联信息“可执行”:能量转化 目标:更好地满足人类需求 解释预测 归纳演绎 科学 范式：第1-2-3 4(5)(数据和计算驱动) 单机客户端服务器 PC(Web1) 互联网 Mobile(Web2)云端 AI 边缘计算 元宇宙，Web3,量子,脑机接口，生物基 财富 能力 知识 数字化 经济产出 工业化 农业化 时间 新范式对技术驱动人类发展的多维度影响 170019712023 经济产出 技术驱动发展的社会化更迭 知识化 信息化 时间 农业化 自主化 工业化 数字化 17001971 2023 时代 农业化 工业化 数字化：信息无处不在 数字化：模型无处不在 数字化：自主化行动无处不在 人作为核心生产力 人：体力为主简单工具 没有流动性 人：体力为主，脑力为辅 机械、电器、电子等自动化工具地域流动性 人：脑力为主，体力为辅电脑，手机等信息化工具全球流动性 人：创新为主，其他为辅新一代认知思考能力工具逐步替代脑力劳动 人：创新探索 下一代自主行动工具全面替代脑力和体力劳动 经济范式 农业经济 商品经济 服务经济 体验经济 （暂）AI经济 代表职业 农民 工人 码农，设计师，分析师 创业者，科学家 人类新价值系统 SamAltman 成为YC创业者 2019年3月 SamAltman辞去YC总裁专注投身OpenAI 微软新一代核心产品发布 OpenAI早期研发阶段 2014年 Sam接任YC总裁成立YC研究院 MicrosoftLinkedIn联创ReidHoffman 2017年9月 19年 2020年7月 、 Microsoft投资10亿研发合作项目 准备引入大量资本 建立OpenAI新结构， 20 2018年4月 投资方包括私募股权基金和家族资金 FoundersFund、KhoslaVentures LinkedIn联合创始人ReidHoffman、 2021年7月 跟投 NewBing正式发布 微软领投，黑石、 丰田、SilverLake 微软以290亿估值投资100亿美元，内部决定公司全面转型 2023年1月 Securitycopilot 2016年12月 OpenAI成立获1亿美元初始投资 OpenAI 1亿美元融资 OpenAI1亿美元融 资 与Microsoft建立战略伙伴关系 2019年 2020年 OpenAI1.75亿美元融资 2020年6月 OpenAI30亿美元融资 2022年 2022年11月 2023年3月 2005年 GPT-1 与微软合作 GPT-2 DALL-E GPT-3 Codex/ GPT-3.5 ChatGPT GPT-4 PlugIn至今 Azure-AIPlatform GithubCopilot 开启预训练时代效率，语言理解 多任务迁移学习效益 开启多模态泛化能力 fewshot 代码生成 指令调试更高效率 全面对齐 RLFH 工程化多模态 进一步生态化 关键维度攀升到了拐点 能力够强：封装所有常识和足够的学习推理能力足够广泛：领域宽对每个人都有实用价值 足够深入：覆盖大多数专业人士的认知任务足够好用：自然语言和代码等对齐 足够扩展：模型在认知能力和领域范围的扩展性门槛变低：初始阶段的固定成本不再是贵不可及 自然语言(NL)是突破关键 一条反共识的从认知开始打造通用智能的路径从语言开始因为它是人类认知的特殊潜空间语言是人类与物理世界之间的最重要桥梁 语言是人类极强极有效泛化能力的全面基础 NLP真正实用化离不开源于GPT的知识表达和获取它是最有效的对齐（Alignment)途径 能开启更多认知潜空间（LatentSpace)：代码，图表等 驱动新范式的引擎：GPT模型体系 能高效地压缩信息表达世界知识 能持续提高泛化能力(涌现，子概念空间等）能更有效更可延申地对齐(自然语言，价值等）能足够并持续地充分利用更多有效算力 能用好充足的token/模态和有效地token化能有效地参数扩展，小型化，本地化能有效地扩展任务领域和专业知识 可预见和可持续的技术发展 不断提高核心模型基础研究和工程开发进程更高效益：鲁棒性，稀疏性、宽度和循环等 更强能力：涌现，子概念泛化，神经/符号，因果等更多对齐：挖深拓宽潜在空间(LatentSpace) 更多模态：图像/视频/其他，及Token化更多领域：模型扩展性和适应性 更强工程：计算/通讯系统、基础设施、工具链 基础性：Transformer的序列模型架构操作性：提示/微调/对齐/场景内学习扩展性：涌现和多维度的可扩展能力 发展飞轮雏形启动 资本投入：更大规模和更长周期 商业模式和盈利模式具备初步可行性更多计算能力和基础设施投入 新平台，新应用，新商业生态加速开发初创企业与现有企业生态系统逐步形成更多可实现可验证的社会效益 安全/社会认可/共同进化不断推进 类比生物生态 进化 表观 基因 事的模型：领域/工作模型 领域模型 结构模型 流程模型 需求模型 任务模型 记忆先验 模态化Token化 指令调试自适应能力场景内学习 人的模型：认知/任务模型 个体模型 专业模型 认知模型 任务模型 记忆先验 扩展-集成-融入 记忆个体延展 人类建立的模型：泛化：更深/更专向性符号：如数学公式结构：如工作流程 具体使用：脱离场景上下文模型静态：不适应场景变化不易使用：内在结构难计算 机器学习的模型： 场景化：与环境内在相连适应性：嵌入环境演变化扩展性：子概念空间泛化易用性：多维度对齐空间计算性：内在过程性结构 繁荣活跃的模型生态技术发展的进化范式模型成为“新物种” •延伸，组合，选择 •结构，能力，系统 •“寒武纪”般的早期繁荣 •持续高速发展 •人类需求是演化导向 越来越多的模型扩展和组合机制（学习层面和模型接入层面：如符号求解器，工具使用等） 更完整更强(模态/规模级别)的世界知识：不断拓宽领域，加强学习能力(更多泛化结构和机制) 更多更全面人类价值和认知对齐：自然语言，代码，表单，图表，符号系统如数学等 模型反馈循环体系： 更广阔，更深入，更泛化，更对齐，更易用 模态化+Token化 感知数据+生成数据 基础模型 对齐工程(如RLHF)标注数据 更强大的学习能力 更广泛的数字化、模态化更深入的领域、适应性更多可协调的认知潜空间 目录 01新范式 02新时代 03新机会 04奇绩创坛 05问答 对每类职业的结构性影响 •所有人类知识和认知活动的各个方面 •所有需要认知/感知/行动的任务 •人类专业人员+co-pilot(s) •人类专业人员+auto-pilot(s) •人类专业人员+pilot(s)team •人类和副驾驶员+auto-pilot作为未来的组织形式 对市场和社会的长期影响 •教育：人力资本的未来 •科研：生产资本的未来 •社会：信息和知识的传播 强劲的驱动力要素 •当下拐点急速攀升：知识创造和获取结构性演变 •系统性推进新范式：模型边际成本转移到固定成本 •生产力广泛提高：全面生产力成本降低和效益提升 •生成力深层提升：例如医疗，科学等深价值产业 •生成力发展快：科学和技术驱动创新速度加快 •加速下一个拐点：无处不在的自主化和自动化 对每个行业的结构性影响 •每个行业的结构性重组：从边际成本到固定成本 •[$X/小时(人工)-$Y/小时(硬件+软件和规模化)]x数量=降本增效 •如：开发人员（代码）、设计师（2D、3D）、研究人员（论文/数据） •如：客服、销售、市场营销、人力、财务、法务等各个垂直领域 •提升每个领域：通过系统性地改进和自动化领域模型等 •提升核心基础产业：科学、教育、医疗保健、制造业、商业 •对众多产业造成深远影响：新平台、新应用，新赢家和输家 快速追赶，打造基础 •基础模型：重建中国的GPT-3.5到GPT-4模型能力 •对齐模型:（基于RLHF）对自然语言，代码等 •汇聚覆盖核心模态：足够的Token和Token化 •建立基础设施：网络计算系统，训练系统，推理系统 •汇聚足够有效算力：芯片，工具和开发系统 •建立模型延申开发模式：模型API，PlugIn等 •完成中国自有的类似ChatGPT的初步生态 市场发展 •大厂(如百度等)和科研机构 •创业公司和资本市场 •核心资源（人才、算力、数据、资本、国外市场链接) •平台、基础设施、应用、关键行业如医疗等 •早期紧跟OpenAI的前沿,逐步开拓中国模式 •中长期国际化机会（亚洲和其他） 国家引导 •整体和长期布局 •基础设施 •引导扶持 •发挥国家优势（尤其是特定领域的固定成本） •监管治理 社会影响 •教育 •科研（第四范式，新产-学-研） •文化与文明 投OpenAIStartupFund 生 资围绕改变人类的AI应用投 态资布局 商业模式 前端 GPT4 PluginsChat-GPT“杀手级”应用未来流量、用户和数据的入口 Plug-in ChatGPT(联网+Codeinterpretation等）可拓展的 预计参数量1-1.7万亿；支持文本和图像输入，输出文字，多语种、看图作答、角色扮演、图表分析、编程能力、专业考试表现好、更好地理解复杂任务 引擎 GPT3.5 芯片 后端 GPT3GPT2GPT 1750亿参数；文字输入输出；对原始模型有监督fine-tuning，训练奖励模型，利用奖励模型PPO算法优化；能遵循指令总结代码，提出Alignment 1750亿参数；文字输入输出；没有fine-tuning，仅zero/few-shot就有好表现，引入in-contextlearning的概念15亿参数；文字输入输出；初步展现Zero-shot能力，没有fine-tuning 服务器 边缘计算 云(Azure） 数据 1.17亿参数；文字输入输出；无监督预训练+有监督微调；数据局限性、泛化性不足