吴明辉《AI如何赋能职场人大模型落地企业方法论》

//// AI如何赋能职场人：大模型落地企业方法论 明略科技·吴明辉 27/01/2024 第一部分：拿到大模型船票对于企业的必要性？ 拿到大模型船票：快一点vs慢一点 市场领先位置 先发者将有能力提供更深度的服务，从而保持市场领先位置 满足现有市场需求 不创造新的市场需求，根据现有用户的需求，开发对应产品 获客 优先建立联系是锁定客户的重要因素之一 吸取创新实践经验 从创新失败的各种经历中汲取经验教训，节省部分成本开支 先发者 FirstMovers 后发者 FastFollowers Reference:https://www.deeconconsulting.com/deecon-struct/first-mover-risks-and-rewards-in-infrastructure 我的个人经历：充分拥抱新技术红利 1995年 2000年2004年 2006年 2019年 山东烟台 奥数竞赛·计算机竞赛 北京大学本科·数学系 北京大学 研究生·计算机系 成立秒针系统 北京大学 继续攻读博士学位 广告投放前的预算分配 OTT/offline/onlinemedia?’小红书/抖音/腾讯/爱奇艺？ 广告投放中的实时优化 识别精准受众目标？控制展示频次？获取推流预警？ 广告投放后的效果评估 多少人看了？频次如何？ 目标受众多少？ 对电商转化的贡献有多少？ 我的个人经历：秒针系统，互联网大数据分析技术最早的服务商 数据的采集与管理 数据的分析和挖掘程序化广告交易 利用数据挖掘的技术帮助广告主做优化 Bloomberg，使用电脑最早的服务商 。。。 。。。 。。。 大模型是当下的最大机会 Gartner预测 •到2024年，40%企业将接入生成式AI应用 •到2026年，生成式AI将赋能60%的网站及移动 端应用实现自动化 •到2027年，大模型应用软件将占比达整个市场的15% Gartner：使用生成式AI的冲击雷达来规划投资和战略 Source：https://www.gartner.com/en/articles/understand-and-exploit-gen-ai-with-gartner-s-new-impact-radarsource：https://www.gartner.com/en/topics/generative-ai 我的学习感受 大模型培训课 大模型每周一题 每周prompt分享 Prompt交流社区 PromptHero争霸赛 小明助理每日使用量 从小朋友的作业、开源战略探索，到给同事选择礼物 数据说明：明略科技内部员工小明极大的活跃了员工氛围 我给小朋友分享的AI知识 人工智能机器学习的核心工作就是找到一个函数f(x):x->y 语音->识别结果图像->识别结果原文->译文Prompt->输出结果 y 6 A 2 B -1 O1 x 我给小朋友分享的AI知识 已知如图，一次函数y=ax+b图象经过点（1，2）、点（-1，6）； 求：这个一次函数的解析式。 OpenAI——大力出奇迹的机器学习 y x y=f100(f99(f98(f97(……f2(f1(x))……)))) 互联网上的公开知识：x和y的对应 第二部分：企业如何落地AI？ 首先，让团队理解大模型产生真正生产力的基本逻辑 每个人眼中的大模型… 老板眼中的AIGC 各种AI自动化 AI自动抓新闻写文章 AI配好图，同步出个广播视频 AI自动发送 裁员！财源！ 我要用新的电能替代了原有的火柴 100个人干活儿 省了小编和运营！ 3个人干活儿这利润不就出来了吗？ 帮老板落地的同学眼中的AIGC 看看自媒体，AI真屌！ 自己试用了所有AI 媒体天花乱坠上手全做白费愿把AI做傀儡token还嫌太贵 ？？？？？ 终于快有场景了赶快落地！ 干不了大的，我做小的干不了长的，我做短的 员工AI敌对示例 我要被淘汰了 实际的AIGC 无法完成一条多链路生产工作链路 完成某个节点的某个极小环节工作链路 这到底能干个啥啊？！ 提升5%节省15分钟 不好用、我们不用 模型不是越大越好 考虑效果vs成本，参数规模“够用即可” •效果：参数规模较小的模型 也可达成好的效果 •成本：训练和使用的成本也相对较低 并不是参数越多越好 Vicuna-13B（基于Llama训练的开源模型，参数规模仅有GPT3的1/100），在GPT-4的评估下，可超过相当于ChatGPT90%的效果 推理 (Reasoning) •常识推理 •逻辑推理 •因果推理 •数学推理 •多模态推理 •….. 涌现 （Emergence） 理解 （Comprehension） 生成 （Generation） 翻译 （Translation） 检索 （Retrieval） 对话 （Conversation） 摘要 (Summarization) 问答 （Questionanswering） 推理能力最为重要 大模型推理能力的测试 大模型推理能力的测试 更复杂的推理案例 ChatGPT-4 ChatGPT-3.5 大模型产生理性生产力的基本原理 理性生产力需要理性决策理性决策=强大的模型+准确的信息 大模型就是一个函数y=f(x) Agent能解决更多复杂问题，是模型和信息的组织者 案例分享：AnswerAI Brook Taylor VOLFRAM Euclidof Alexandria…… Agent案例：GPTs范式 Agent案例：互联网外脑，联网搜索功能 第一次提问：未联网搜索 第二次提问：联网搜索 Copilot：小明助理，企业级一站式大模型Copilot 浏览器拓展程序H5/Web系统集成 输入输出交互 文本/图片/视频/音频 网页/PDF/Word/Dashboard/Xls/PPT 批量Prompt/批量文件… Copilot 前端 基础服务企业服务 服务层 账号服务会话管理 提示词管理参数设置 模型管理Agent管理 企业账号服务权限管理 团队共享 Prompt库管理Prompt/会话 团队知识库Agent配置平台 接入服务 模型接入管理 模型使用数据统计 模型路由优化 模型层 明略营销大模型 主流大语言模型 客户定制化模型 小明助理，让每一个页面都具备了AI能力 模型接入层 Let’s beonthesamepage. •第一层，是让GPT与当前的我onthesamepage，一起共同解决问题 •第二层，让我的团队成员与我onthesamepage，一起共同解决问题 •第三层，这一层是组织需求， 让我的团队成员与我 onthesamepage，共享prompt的使用方法以及模板 什么是Copilot 人 用户 APP AI 副驾驶 手动汽车 Copilot 陆奇博士：模型系统、信息系统 大模型产生真正生产力的基本逻辑，首先是服务业革命 劳动者 利用 生产工具 加工 劳动对象 生产 资料 谁来改造？ 人的因素 生产力人类改造自 然的能力 怎么改造？改造什么？ 物的因素 新的生产力：模型系统对接生产资料和生产工具：信息系统，要把企业原有的IT系统做好对接 适用于几乎所有行业，带来高质量、大规模、标准化的服务，将首先带来服务业革命。 案例分享：营销智能 社媒 KOL/KOC AIGI 内容 AIGC RTA 洞察AIGS策略广告 DMP 数据 Tracking 大模型时代的IT从业者，AI时代的编程原理 传统编程：形式逻辑计算 人工智能编程： …… 基于人类常识的计算（新的函数库） 混合动力生产力，大模型给我们所有程序员带来的礼物 第二部分：企业如何落地AI？ 其次，从信息到知识，大模型落地的核心是知识工程 机器学习vs人的学习 人的学习 通识教育 专业教育 考试测验 投入实践 机器学习 大模型 定制学习计划 大模型自动化反馈 大模型自动化评分 大模型实时分析和绩效跟踪 不论是人、还是大模型，有了通识知识，在“入职”企业之后，都还需要继续“OnJobTraining”。 大模型Prompt和CoT的革命性意义 交互方式发生了革命性改变： •程序员：不需要通过大量的ifelse或其 他控制语句来组合逻辑表达 •普通用户：通过自然语言描述意图，即可让大模型理解，并将其转化为代码 人工智能的世界出现了印刷术，人工智能 的知识传播成为可能。 陈述性知识vs程序性知识 Data DIKW 智慧 wisdom Knowledge Information 探寻原因 知识 提炼规律 信息 加工处理 数据 知识的分类 陈述性知识，解决“是什么”的问题。GPT不能做到的一些陈述性知识，最新的圈层人群，鞋服行业/熊猫圈 程序性知识，解决“怎么干”的问题。营销工作的一些方法论，利用这些内容写prompt会很不一样 小明Prompt助手——使用CRISPE五步法 大模型时代的企业知识管理 AzureSplitwise通过拆分promptphase和token-generationphase提高GPU使用率 Reference:https://www.microsoft.com/en-us/research/blog/splitwise-improves-gpu-usage-by-splitting-llm-inference-phases/ 案例分享：知识库 知识与数据的安全管理 高 直接调用在线大模型 难点 脱敏后高级推理 推 复 理选择最佳成本解决方案 杂度 ：低 商业机密：低 私有化 高 小明开源助理 第二部分：企业如何落地AI？ 最后，关注从生产力到生产关系的变革与匹配 从人工智障到人工智能 被动AIPassiveA.I. 浏览器自动补充搜索词电商猜你喜欢推荐 主动AIActiveA.I. 汽车智能：自动驾驶手机智能：主动交互 企业软件之间的衔接 Reference：https://www.gartner.com/doc/reprints?id=1-2FA8DF5K&ct=231012&st=sb IT系统功能与前台需求的智能匹配 GUICUI 案例分享：DataAgent DataAgent在组织中使用的价值和前提条件 CUI 最终用户 原始数据 知识 LLM 领域数据 知识 业务指标 数据科学家 原始数据 第三部分：关于组织管理的一些思考 自上而下vs自下而上 更大的闭环，智能时代的组织架构——人机协同 传统工作模式 人工智能工作模式 强人工智能模式 强人工智能 公司职能部门 公司职能部门 公司职能部门 公司职能部门 + 人 智能创新 经理 经理 ++ 人 机器理解 人 机器理解 智能决策 智能决策 劳动力 劳动力 劳动力 劳动力 智能劳动力 智能劳动力 标准化服务 规模个性化服务 千X千面服务 管理层 管理层 管理层 创新 行动系统 重决策 生 构 产业务中台行 素 反 要分析动 馈 数据中台 理解 感知应用 客户/消费者 识别 反思明略… 从EIP推广中获取的Learning： AI落地不能反人性 一个企业的长尾需求：解决非专业问题 机器与人的分工 把最短的那块木板拉长 从自上而下到自下而上，使用好探索流 AI时代组织的思维方式,人类掌握评估标准的最终权力 基于HAO智能理论(HumanIntelligence+ArtificialIntelligence+OrganizationIntelligence)，打通感知、认知、行动系统，帮助组织进行分析决策 感知系统 行动系统 行动智能体 感知智能体组织大型系统 界面 推理与知识 本地数据库 雾计算云计算 计算与存储技术 大数据 注：HAO智能模型(Wu&Wu201