傅盛2024开年AI大课PPT——AI大潮下如何创新

AI大潮下如何创新 2024·傅盛开年AI大课 2023年，是人类历史的第三个科学奇迹年 底层范式正在改变，智能和技术“涌现”，新的创新机遇开启 1666年 牛顿开辟光学，创立微积分推导出引力公式 1905年 爱因斯坦发表狭义相对论、质能方程等四篇论文 2023年 GPT引领AI浪潮 技术的底层范式发生重大变化 AI将带来整个社会的底层重构如何抓住这次创新大潮？ 让我们从上一次科技大潮的小故事开始 20年前一个年轻人怀揣400元来到北京过着很卷的北漂生活 尽管有幸加入互联网大潮，每天起早贪黑30岁前三个愿望一个都没有实现 回头来看，每个大变革的时代 普通人的有心无力，往往都是类似的 32岁时，一次跨国旅行让自己意识到 只靠勤奋，没有办法让自己NB起来 同质化的勤奋只会更卷不同的道路才可能胜出 所谓创新，就是找到不同的路以更少的投入换取更大的产出 曾以为ThinkDifferent是特立独行的文化猛然一刻意识到它是创新的底层思维模式 卷的思维模式是ThinkBetter创新的思维模式是ThinkDifferent 与其更好不如不同 Part1 ThinkDifferent创新的不二法门 为什么伟大不能被计划？ 只有ThinkDifferent 找到新的道路才能实现伟大 但新的道路不在大多数人的认知地图中 2012年，在国内移动互联网创业最卷的时候猎豹移动ThinkDifferent，Allin出海 2016年，共享经济如火如荼 猎户星空ThinkDifferent，AllinAI AI起步早取得了一些技术优势 自研全链条AI技术 行业领先的语音、导航技术 小米小爱同学小雅音箱 华为AI音箱小美AI音箱 北京冬奥服务型机器人创新测评大赛五项产品入选，独占半壁 AI1.0时代 深度学习成为热潮猎户星空抢先出击 全行业一起卷却难破瓶颈一个小小的分支正在成长 猎户NLPV2.0 猎户语音合成v1.0猎户语音识别v2.0 猎户语音识别v1.0猎户人体&物体检测 猎户NLPV1.0 直到2022年11月30日ChatGPT横空出世，震惊世界 AI进入2.0时代，彻底开启生产力革命 AI2.0时代 曾最被人看不起的ChatGPT分支成为主流 猎户NLPV2.0 猎户语音合成v1.0猎户语音识别v2.0 猎户语音识别v1.0猎户人体&物体检测 猎户NLPV1.0 回头看，ChatGPT也是ThinkDifferent的产物OpenAI在同样的技术路线下也卷不过巨头 OpenAI OpenAIUniverse OpenAIUniverse 让机器像人一样使用计算机 OpenAIFive用于玩DOTA2游戏 魔方机械手 Rubik'sCubeRoboticHand Chatbot 也就是后来的ChatGPT OpenAI改变了机器学习语言的技术路线从“学外语模式”变成了“学母语模式” 学外语模式学母语模式 系统达到一定语言能力，但是无论如何优化，依然答非所问 建立基本的逻辑认知 产生逻辑能力和推理能力 OpenAI,与其说是技术积累的成功不如说是技术信仰的成功 更是ThinkDifferent的成功 ChatGPT的横空出世更像是哥伦布航海不是舰队多牛，而是走了别人不敢走的路 回顾互联网创业大潮再看这次AI技术浪潮 ThinkDifferent是创新的不二法门 今天，几乎所有伟大的创新公司都是ThinkDifferent的成果如苹果、特斯拉、OpenAI 但在最初，都是被质疑甚至被嘲笑的 Part2 AI大模型创新 依然可以ThinkDifferent ChatGPT是一次 底层范式正在改变 每个业务用大模型重做一遍都能获得十倍增长 Microsoft（微软）2023年市值超越苹果成为全球市值 最高公司 Midjourney“设计外包公司” 40名员工 年收入超2亿美金估值100亿美金 HeyGen “视频翻译公司”30名员工 收入超过1800万美金估值7500万美金 Pika “视频制作公司”4名员工 融资5500万美金估值超2亿美金 面对这一次的AI大潮 每个人都跃跃欲试，但不知所措 来得太猛了，不懂技术被淘汰？变得太快了，刚学一点又变了！ 万变不离其宗 躬身入局，以终为始找到适合自己的道路 我们也曾很焦虑： 2023年3月，国内千亿大模型创业如火如荼，团队躁动不安 “老板，再不动手训大模型就落伍了A100要大涨价了” 2023 3月 训练千亿大模型是技术皇冠上的明珠技术团队都有摘取的愿景 但我关心的是，怎样才有独特的价值？ 对于AllinAI七年的猎户星空 训练千亿大模型本质上是资本的投入一次训练，上千万美金，数月周期Tobeornottobe? 在千家万户都在卷千亿大模型的彼时 只有做千亿大模型才是唯一路径吗？ 况且 如果没有商业落地，那只是技术狂欢脱离市场的技术投入，就是资源浪费 技术不是为工程师而生而是为应用而生 ——乔布斯 大力发展Copilot应用的微软成为最大赢家 GitHubCopilotBingCopilot WindowsCopilotOfficeCopilot微软总市值已超苹果，成为美国市值最大的公司 ThinkDifferent 不是只有跟随OpenAI才能成功 大模型创新的两种模式 主流我们 训练千亿级模型 垂直模型 4月 寻找应用场景 Step1 Step2 Step3 挖掘应用场景垂直模型 打造最适合模型 2023 3月 从我开始: 内部生长出AI应用对外提供咨询服务 4月 2023 3月 CFO助理写出的小工具震惊了所有程序员 自设计线上服务机器人 自写小工具自建应用开发交流平台 垂直技术领域，AI可能带来生产力的跃迁 领域专家 领域中游人员 领域下游人员 猎豹移动内部产生13个课题组半年生长出16个AI应用组件 应用组件 模型组件 通过近一年实践，我们发现： -大模型在企业中增效明显，但只靠员工自驱动难以落实 -需要一把手亲自抓，对公司流程进行AI重构 -需要深度结合企业流程开发AI应用 AI前景很大，但尚处早期大模型落地，需要强应用 朱啸虎：大模型对创业者很不友好? 傅盛：做好应用，依然是创业者最好的机会！ 6月 4月 2023 3月 纸上得来终觉浅 只看朋友圈，真的以为AI要吞噬人类 绝知此事要躬行 真正动手做，发现还是创业最好时代 2023年5月 客户问:能否帮我私有化部署大模型 但当时私有化千亿参数大模型 数千万 千亿参数大模型授权费一年数千万 数百万 服务器配置数百万 A100x8服务器每台价格约160万，只能满足很小的并发请求 客户说： “我就是解决客服问题，一年投入几千万难以承受，有没有便宜，但不损失性能的方案？” 恰逢其时 LLaMA来了 开源社区使得千亿参数大模型性能护城河消失 小参数模型能力迅速提升“涌现”出智能 忽然一夜开源来千模万模智能开 猎户NLPV2.0 猎户语音合成v1.0猎户语音识别v2.0 猎户语音识别v1.0猎户人体&物体检测 猎户NLPV1.0 AI大模型 进入二元对立时代 ThinkDifferent规律再次应验 更高参数更全面性能更大的算力 看谁能造出“爱因斯坦” 闭源阵营开源阵营 更小资源更专业性能更灵活配置 看谁能造出平民化大模型 我们发现，在企业应用场景中 数据&应用 百亿参数基座 千亿参数 ≈大模型 千亿全面，百亿专业 在企业场景中，专业足矣，更具性价比 会议纪要规章制度 知识管理 数据图表文案打磨 创意脑暴合同审核 客户案例，通过百亿参数+应用打磨专业回答问题超越GPT-4 97% 回答准确率 60% 回答准确率 百亿参数就够了 企业应用 Part3 每个企业都有 私有化大模型的时代到来了 三个时代企业核心价值的变化 土地、厂房、生产线互联网和信息化经营数据和数智化 AI在企业内部到底能做什么？ 难道只是GPT风的汇报文档和花哨的图片? AIGC到底是什么？ Prompt 公有数据私有数据 CI AI C2 套件+应用C3 数字员工和辅助决策才是真正的AI提效 企业使用AI的三个段位图 公有数据 AI提示词（Prompt） C1宣传文案，图片 专岗私私有有数数据据 AIRAG+Agent套件 C2数字员工，降本 企业企经业营经数营据数据AI 企业定制应用 C3辅助决策，提效 OpenAI的“阳谋” ChatGPT只从公开出版物上获取数据所以，大模型在解决企业问题上无法深入 OpenAI的“阳谋” 推出GPTStore，是为了获取私有数据，进一步提升“智商” 互联网公开大数据 GPT Store OpenAI 用户用户企业 调侃的说： AppStore要交“苹果税”GPTStore要交“智商税” 合同、财务、业务数据等公司机密给ChatGPT短期内可以提高效率 长期来看，每用一次ChatGPT都可能在帮你的竞争对手成长 甚至ChatGPT成了你的竞争对手 这件事正在发生 山姆·奥特曼只给了我500美金OpenAI代金券却毁掉了我300万美金的初创公司 为了让企业有持久竞争力 应该使用私有化大模型让经营数据内循环生长 企业实现应用AI的王者段位 数字员工 私有数据私有大模型强应用套件 辅助决策 Part4 猎户星空大模型为企业应用而生 以终为始的思考：寻找破局点 太多人只关心千亿模型刷分高不高 我们更关心百亿模型用的好不好 百亿参数就够了 企业应用 是时候打造我们的百亿参数模型了 主流我们 训练千亿级模型垂直模型 寻找应用场景 Step1 Step2 Step3 挖掘应用场景垂直模型 打造最适合模型 七年磨一剑 来自于Facebook总部、Yahoo总部、百度等全球顶级大厂的上百名顶级算法 科学家 顶级团队 技术路线从DNN、Attention、Bert到LLM,ASR/TTS/ NLP全栈追踪行业技术演进 算法理解 上千家企业应用适配 场景认知 全球20亿用户级应用打磨经验 应用打磨 近7年数据积累，百亿级真实用户Query数据，数十万亿级别 token数据 数据积累 猎户星空大模型 140亿参数千亿效果 七大应用微调方向 千元显卡即可运行 用得好用得起用得安心 看性能，先看 为什么有些大模型在榜单上靠前，用起来一般般? 对大模型来说， (为此，我们发布了一个“应试教育版”) 模型 C-EVAL CMMLU MMLU Lambada HellaSwag Orion-14B(应试版） 93.6 83.1 87.5 79.0 85.8 GPT4 69.9 71.0 83.0 65.5 91.4 当然，我们今天正式发布的是 （没有刷过题） 所以遇到没有见过的新问题时，它的水平是一致的 模型 CMMLU学科 MMLU 学科 C-EVAL知识 AGIEval 知识 Lambada理解 RACE 理解 HellaSwag 推理 BBH推理 Orion-14B 70.6 70.0 72.8 54.7 78.8 91.3 78.5 56.5 LLaMA2-13B 38.4 55.0 41.4 30.9 76.5 58.9 77.5 45.6 Skywork-13B 61.4 62.7 59.1 43.6 71.8 84.1 73.7 48.3 Baichuan2-13B 61.3 59.5 59.0 37.4 74.1 67.2 70.8 49.0 QWEN-14B 70.2 67.9 71.7 51.9 71.4 90.3 80.2 53.7 InternLM-20B 59.0 62.1 58.8 44.6 71.8 83.3 78.1 52.5 行业领先的百亿参数大模型基座能力百亿级模型 基于第三方机构OpenCompass独立评测结果 700亿参数以下基座模型中文第一 140亿参数 支持320Ktokens超长文本 一次读入一本小说 在三十万文字中任意位置随机隐藏关键信息