江凯-Lowcode x AI云凤蝶的思考与实践_opt

LowcodexAI 云凤蝶的思考与实践 江⽊蚂蚁集团2024/06 ⼤纲 ⼀.AI对Lowcode⾏业的冲击 AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放 ⼆.业界变化趋势洞察 编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=??? 三.云凤蝶产品与技术实践 提示词⼯程微调 RAG multiagent 四.总结与展望 运⾏时+AI=???垂直业务+AI=??? ⼀、AI对LowCode⾏业的冲击 AI辅助编程⻜速发展 Cursor:AI辅助编程 CodeRabbit/Ellipsis:AI代码review Devin/SWE-agent:AI程序员清华开源ChatDev：AI游戏公司 对话式应⽤⽣成百花⻬放 V0:对话式前端⻚⾯⽣成 marblism:对话式全栈应⽤⽣成（React/NodeJS） galileo:对话式设计稿⽣成 难道就到此为⽌了吗… ⼀、AI对LowCode⾏业的冲击 如何看待这波冲击？ predictnexttoken（概率） 认清LLM的本质和能⼒边界 ScalingLaw \ 注1：LLM学会了⼈类知识吗注2：sora理解了世界模型吗？ 如何看待这波冲击？Text2Code是怎么搞出来的？能彻底替代程序员吗？ 了解指令微调 GPT（GenerativePre-trainedTransformer） 在⼤量语料基础上掌握了⾃然语⾔的规则 ChatGPT 在问答数据的finetune后 掌握了在什么场合（prompt）说什么话 pretrain的基座模型指令微调（InstructionTuning）的finetune模型 ⼤规模⽆监督训练海量互联⽹⽂本数据集 predictnexttoken Text2Code的关键还是⾼质量的问答数据集 有监督训练（SFT/RHLF） ⾼质量⼈⼯标注问答数据集 prompt引导下的predictnexttoken 如何看待这波冲击？lowcode平台可以搞⼀个text2dsl模型彻底从配置式升级成对话式吗？ Q1：pretrain的基座模型⾥⾯包含海量的dsl数据吗？ 没有，但从lowcode平台积累的历史应⽤可以清洗出来 Q2:有⾼质量的text2dsl的数据集来做指令微调吗？ 没有，需要⼈⼯标注 Q3:标注成本如何？ Case1:蚂蚁代码⼤模型（Codefuse）开源指令微调数据集6.6W⾏csvhttps://codefuse.alipay.com/welcome/open Case2:OpenAI数据标注千万美元投⼊，上千名数据处理团队与外包团队 � 理论可⾏，实际很难，需要lotsof ⼀.AI对Lowcode⾏业的冲击 AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放 ⼆.业界变化趋势洞察 编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=??? 三.云凤蝶产品与技术实践 提示词⼯程微调 RAG multiagent 四.总结与展望 运⾏时+AI=???垂直业务+AI=??? 编辑态+AI辅助提效 运⾏时+AI ??? 垂直业务+AI ??? �⽕热有⼀些尝试创业的热⻔ Copilot⾃然语⾔操作 AI代码建议AI代码⽣成 ⾃然语⾔⽣成⻚⾯⾃然语⾔⽣成表单+存储模型 D2C 编辑态+AI=辅助提效：Mendix 辅助逻辑编排Lint校验⽣成 编辑态+AI=辅助提效：Wix ⾃然语⾔对话提取结构化需求 结构化需求⽣成⻚⾯ 编辑态+AI辅助提效 按下不表，最后再讲 运⾏时+AI ??? 垂直业务+AI ??? 有⼀些尝试 创业的热⻔ �⽕热 ⼀.AI对Lowcode⾏业的冲击 AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放 ⼆.业界变化趋势洞察 编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=??? 三.云凤蝶产品与技术实践 提示词⼯程微调 RAG multiagent 四.总结与展望 运⾏时+AI=???垂直业务+AI=??? 云凤蝶是什么 云凤蝶与AI结合的规划 编辑态+AI：⾃然语⾔驱动的低代码引擎运⾏时+AI：默认智能的新体验、AI原⽣的新需求 产品演示 LLM简要技术⼤图 推理效果优化 InContextLearning 提示词⼯程 微调 针对特定任务 ⽆法放在context⾥有⾼质量数据集 与外部⼯程/数据连接 RAG 会动态变更有时效性的知识 Tools 对接外部能⼒ FunctionCalling 复杂业务编排 multiagent框架 编排复杂任务 Langchain、MetaGPT、AutoGPT 应⽤层 基座模型训练 PreTraining SFTRHLF 业务模型训练 ContinuePreTraining SFTRHLF 模型压缩 量化蒸馏 模型部署 推理性能优化 模型评测 数据评测 偏底层 ⼀些经验总结 不要⼩看提示词⼯程（以意图识别为例） 需求：将⽤户的⾃然语⾔输⼊识别为n个⼦任务的⼀种 Q:诸多badcase，如何解决？需要微调吗？ A:这是⼀个通⽤的分类任务，没有太多领域知识，先尝试继续优化提示词 1.程序员的⽼本⾏：google找⼀些前⼈的经验 2.让魔法打败魔法：让GPT⾃⼰帮忙优化 不要⼩看提示词⼯程（以意图识别为例） 本技巧除了应⽤在开发时，也可以应⽤在线上 以⾃然语⾔创建表单为例，⽤户输⼊不会像PRD⼀样详细 可以预设⼀个PRDAgent，让Agent先基于⽤户简单输⼊扩写需求，或多轮对话追问细节 不要⼩看提示词⼯程（以意图识别为例） 如何判断需要微调？（以⾃然语⾔⽣成表单为例） 遇到问题了 组件种类过多 incontextlearning不够 复杂的组件树嵌套 ⽆法⽣成 容易⽣成⾮法jsonbadcase⽆法解决 微调的作⽤ 领域知识 稳定可控 性能成本 补充基座模型未内化的知识 严格控制输出格式，避免输出⾮法json 对于不符合预期的badcase可以加⼊训练数据集 相⽐promptengineering 节省单次调⽤的上下⽂token，省钱 PS. 组件种类过多，⽽且组件定义版本化变更的，未来可能需要演进成RAG⽅案 ⽣成⾮法json的问题，除了Fine-tuning，也可以考虑FunctionCalling的⽅案（即让模型输出flattern的简略结构，再调⽤function程序转换） 问题：没有现成的⾃然语⾔到公式数据集，纯⼈⼯标注成本太⾼解决⽅案：程序+GPT数据增⼴ 微调数据集不够怎么办？（以⾃然语⾔⽣成公式为例） 如何在业务中实践multiagent架构？ 如何在业务中实践multiagent架构？（以IDE修改组件属性为例） ⽤户原始输⼊ 意图识别 agent 实体识别 agent 指令⽣成 agent 应⽤ DSL修改 如何在业务中实践multiagent架构？ 多个相关微调任务合并成⼀个蚂蚁开源多任务微调MFTCoder框架 https://github.com/codefuse-ai/MFTCoder 研发时：提升训练效率 运⾏时：节省前置意图识别性能开销 能理解需求的Copilot才是好的Copilot 指令: 1.把商品组件布局属性改成内联 2.把收获⽅式组件布局属性改成内联 3.把商品信息组件字体加粗 需求： 将商品和收货⽅式放到同⼀⾏，突出显示商品信息 CoT（思维链） 如何解决AI⽆法100%准确的问题？（以⾃然语⾔⽣成表单为例） ⽤好的产品设计来兜底 提供对模型中间推理产物的介⼊修改能⼒ 如何确保可⽤性持续提升？ 建⽴数据⻜轮，持续迭代 训练数据集 评测数据集 线上数据回流 ⼀.AI对Lowcode⾏业的冲击 AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放 ⼆.业界变化趋势洞察 编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=??? 三.云凤蝶产品与技术实践 提示词⼯程微调 RAG multiagent 四.总结与展望 运⾏时+AI=???垂直业务+AI=??? 回顾⼀下业界变化趋势洞察 展开讲讲 编辑态+AI辅助提效 运⾏时+AI ??? 垂直业务+AI ??? �⽕热有⼀些尝试创业的热⻔ 运⾏时+AI=新体验：Retool逻辑编排内置AI节点，丝滑的使⽤AI能⼒ 四、总结与展望 逻辑编排内置AI节点，丝滑的使⽤AI能⼒ 运⾏时+AI=新体验：Retool 四、总结与展望 运⾏时+AI=新体验：PowerPlatform ⾃然语⾔数据查询、数据分析、⽹⻚导航 ⽣成每个应⽤专属copilot 打通MicrosoftCopilotStudio 表单填写、⽂本输⼊建议 四、总结与展望 运⾏时+AI=新需求 ⾯向未来，GUI和CUI 注：ConversationUI 四、总结与展望 运⾏时+AI=新需求 海量的GUI应⽤如何适配AI时代？ 激进派温和派 废弃GUI 让AI通过functioncalling重新对接API 根据DataSchema智能推理UI 通过某些技术⼿段让GUI变成CUI可消费的 2.编写RPA脚本 将传统GUI服务变成AI可调⽤的能⼒节点 四、总结与展望 运⾏时+AI=新需求：钉钉智能助理 1.卡⽚搭建，放弃已有GUI，重做 运⾏时+AI=新需求：百度超级助理 会议室预定，对接API,根据APIDataSchema⾃动渲染卡⽚ 垂直业务+AI=端到端免研发 端到端的对话问卷⽣成、数据采集 对话式交互问卷、训练⾃⼰的AI回答 垂直业务+AI=端到端免研发 AI版本的“salesforce” 根据店铺和商品信息AI⽣成客户调研⻚⾯并分析和追踪回流线索数据拓展客户 垂直业务+AI=端到端免研发 AI⽤户体验监控 传统的监控：⽹络错误、代码错误基于⽤户⾏为的监控： ⽤户疯狂重复点击按钮、 ⽤户在⼀个请求等待过程中⿏标⽆意义的烦躁移动、某⼀个按钮或者链接点击之后⻚⾯没有反应 ⽤AI做啥： LLM给抓取到的这个⽤户case⽣成⾃然语⾔描述的标题 通过机器学习从⼤量数据中识别出当下对⽤户影响最严重的⼀些问题push改进 四、总结与展望 AI改变LowCode⾏业格局和市场前景了吗 EverestGroup2023低代码报告 AI会改变lowcode商业模式和格局吗 259个YC投资AI相关项⽬统计(source) 思考 •先解决基模和卡的可⽤性问题，从⼩功能和简单⽅案⼊⼿，不设边界的尝试AI，遇到问题解决问题 •承认当下LLM能⼒缺陷，在想做和能做之间找平衡 •除LowCode编辑态辅助提效，还需投⼊助⼒⽣产更智能的应⽤，以及投⼊⾯向AINative的新形态对话式应⽤⽣产，以应对需求侧变化 •AI会进⼀步激活LowCode，从需求侧和能⼒侧都是 •在通⽤LowCode平台上结合AI暂⽆杀⼿级场景，寻找垂直业务场景AI零代码免研 发，端到端解决⽅案更有想象空间 完。感谢