大模型领航者AIGC 实践案例集锦（第一期）

卷首语PREFACE 极客邦科技创始人兼CEO2024年7月 2024年，AIGC经历着爆发式增长的热潮。不仅各类国产大模型如雨后春笋般相继崛起，相关的商业化应用也步入了绽放期。从内容创作、数字电商、企业生产场景到医疗、教育领域，各行各业都在探索如何利用AIGC提高效率和创造价值，并被注入了前所未有的创造力与想象力。 随着技术的蓬勃发展，围绕AIGC的应用生态逐渐形成。在此期间，大模型领域内“百家争鸣”的激烈竞争，加速了行业价格战的兴起，更在无形中极大推动了AIGC技术普及至大众的进程。AIGC的各类应用开始广泛从理想迈向现实，惠及越来越多的用户群体。 面对这样的发展趋势，极客邦科技旗下InfoQ极客传媒自2024年初，启动《大模型领航者》访谈栏目，并策划实施了一系列围绕AIGC和大模型的选题报道、专访、直播、演讲分享等多种形式的内容，聚焦于实际案例应用、大模型的实际部署、团队背后的故事等核心话题，与众多行业 专业人士进行了深入的对话与探讨。旨在深入了解当前AIGC前沿技术在企业应用领域的最新动态，为各行业提供实战经验与趋势洞察。 《大模型领航者》电子书正是基于前述内容，进一步做了筛选、提炼和分类。此次推出的第一期电子书收录了InfoQAIGC频道在2024年上半年发布的超20篇文章，包括QCon全球软件开发大会（北京站）2024和AICon全球人工智能开发与应用大会（北京站）2024的热门演讲，以及对钉钉、面壁智能、数势科技、腾讯、京东、字节跳动、图灵机器人、云知声、零一万物、达观数据等企业的独家采访。 本册共包括“大咖视野”、“观点碰撞”、“应用案例”、“技术实践”与“AI测评室”五个部分。其中，“应用案例”又涵盖互联网产品、企业生产提效、医疗、教育以及更多垂直行业的章节内容，分别从不同行业的视角展现了大模型应用的无限潜力；“AI测评室”则囊括了今年各热门大模型的实测。 受限于电子书篇幅，我们无法尽数呈现InfoQ在AIGC频道的全部精彩内容。但与此同时，InfoQ开设的「AI前线」微信公众号正保持着每日的优质内容更新，不间断地向AI爱好者、开发者和科学家，持续奉上大模型最新资讯、AI技术分享干货、一线业界实践案例，希望助力大家全面拥抱 AIGC。欢迎关注！ 在这场前所未有的时代变革中，极客邦科技期盼与大家并肩前行，一同深入探索AIGC时代的每一步发展，合力推动生成式AI领域人才的全面成长，以及规模化落地的宏伟愿景。 【欢迎扫码关注AI前线】 CONTENTS目录 大咖视野|VISION 01｜钉钉卡位战：SaaS挣不到的钱，Agent会挣到7 02｜26岁带着百人团队冲刺大模型，面壁智能天才CTO：高效比13参数更重要 03｜这个离开大厂去AI创业的互联网大佬，带着他的“Killer20Agent”来了 观点碰撞|OPINION 04｜大模型开闭源争吵不休：开源落后闭源一年，决定模型能力的不是技术？ 29 05｜“国外一开源，国内就创新”！面对中美大模型差异，我们该突37破还是继续模仿？ 应用案例|CASES 第一章：互联网产品 06｜如何1秒内快速总结100多页文档？QQ浏览器首次揭秘大模型实现技术细节 07｜京东商家智能助手：Multi-Agents在电商垂域的探索与创新 47 61 第二章：企业生产提效 08｜字节跳动代码生成Copilot产品的应用和演进 09｜大语言模型加持，是智能运维架构的未来吗？ 10｜用AI面试员工的企业，知道打工人在想什么吗？！ 71 80 93 11｜AI代码助手革新编程界：腾讯云专家汪晟杰深度剖析机遇与 挑战 100 第三章：垂直行业 12｜巨头们涌入的医疗大模型，何时迎来最好的商业时代？107 13｜AI老师的强大功能+真人老师的情感交流=未来教育？112 14｜4人团队，如何用大模型创造近千万业务价值？127 技术实践|TECHNOLOGY 第一章：大模型训练与推理 15｜万字干货！手把手教你如何训练超大规模集群下的大语言模型 16｜当大模型推理遇到算力瓶颈，如何进行工程优化？ 17｜AI辅助内部研发效率提升，昇腾大模型推理的最佳实践 137 160 163 第二章：RAG与智能体落地 18｜智能体技术发展趋势：谈大模型智能体与开放领域融合170 19｜Agent还没出圈，落地先有了“阻力”：进入平台期，智力 能否独立担事？ 175 20｜“驯服”不受控的大模型，要搞定哪些事?188 AI测评室|EVALUATION 01｜算数不行、还不懂中国文化，大模型现在抢不了设计师的饭碗！195 02｜首届大模型“相亲大会”开始啦！谁是你的天选CP？206 03｜Kimi的词+Suno的曲：能带我入选《中国新说唱》，但还223是干不过原神！ 大咖视野 VISION 对话先行者洞见新未来 钉钉卡位战：SaaS挣不到的钱， Agent会挣到 出 品| InfoQ《大模型领航者》 主 持| 霍太稳，极客邦科技创始人兼CEO 嘉 宾| 叶军（不穷），钉钉总裁 作 者| 褚杏娟，InfoQ编辑 编 辑| 蔡芳芳，InfoQ主编 “ 2020年，刚带队做出全国第一张健康码的不穷加入了钉钉。不穷是阿里的第一位校招计算机博士，从PC时代开始触网，完整经历了移动互联网时代。而他如今面临的，是一场关于大模型的竞备赛。 想必已经无需用过多笔墨赘述。2022年底至今， ChatGPT的出圈程度还没有谁能超越，其背后的技术方向也早已经被竞相追捧。就像不穷说的“大家都充满了FOMO情绪。” 那么身处其中的钉钉，能够在这次浪潮中扮演什么样的角色？ 大模型领航者 AIGC实践案例集锦 和很多企业一样，钉钉最初也没有一下就找到合适的入局方式。一年多前，看到自己与微软不约而同地都选择了给当前产品增加AI能力时，钉钉团队觉得这种方式已经很让人眼前一亮了，但大模型爆发的能量远比想象得还要大。 整个2023年，OpenAI、微软、谷歌等大模型发布频繁，李开复、王小川等也亲自下场发布大模型……去年4月，钉钉全面投入智能化，开始用大模型逐个将高频产品重做。到了当年六、七月份，钉钉内部有人提出：能否有一个直接AI原生的产品？这引发了内部关于从“+AI”到“AI+”的争论。这个想法与去年10月李彦宏公开提到的AI原生 理论异曲同工，可见国内的探索思路其实差异并不大。 那什么是AI原生？钉钉也在思索。其实在将思维转换成以AI为中心后，这个问题就不难回答。 “AI原生产品从一开始的思考就是全新的，就是要用纯AI的思路来解决一个任务。它从数据感知、任务分解，再到思维链，最后到行动执行，是一种全新的思考架构。”不穷表示。 而对于做AI原生的方式，钉钉选了Agent。 “我们依赖这些大模型公司” 今年1月，OpenAI正式推出了GPTStore。几乎同时，钉钉发布了AI助理，并宣布4月推出AI助理市场。 “GPTStore上线的第一天我就用了，当天就已经有非常多的产品了，速度非常快。但我分析了所有数据后发现，GPTs同质化非常严重，而且都是一些通过简单限定词、指令或角色扮演来形成的AI助手。”不穷说道。 这一体验让不穷认定，钉钉未来的AI助理市场不做全量推荐，只会推荐精选过的AI助理。 不穷强调，钉钉模式与GPTStore的不同：GPTStore通过不断丰富插件使AIAgent能够批量调用外部系统的能力，但它的组合效率要比钉钉低，因为钉钉拥有天然的ToB环境，其中有大量的工作任务需要解决。 不穷认为，目前钉钉的能力不在于做自己的大模型，而是在应用和数据，在工程性、用户体验以及ToB理解方面。对于Agent来说，大模型只是其中的一个能力，此外还需要非常好的场景和高质量的业务环境数据，这两者恰恰是钉钉有、而OpenAI目前还欠缺的。 对话先行者洞见新未来 对于与国内大模型公司的关系，用不穷的话说是：“我们依赖这些大模型公司，它们是我们的发动机和心脏。没有它们，我们无法运行。” 面向AI，不穷把钉钉定义为AI应用创作平台，企业在这个平台上连接、开发和加工各种应用。钉钉的核心任务就是连接场景和数据，实现结构性自动化和批量处理各种工作，并通过Agent让创作变得更简单。 具体来说，钉钉的职责是确保外部记忆存储部分的完善，包括短期和长期记忆的处理，同时做好任务规划，之后将大模型生成的内容与本地业务数据集成，并将形成的行动在各个系统中落地。 在不穷看来，当前国内各个基础模型之间的差距并不大，未来不是每个开发者都会关心基础模型的选择，他们更注重解决业务场景中的问题。因此， 如果基础模型效果不理想，开发者应该可以随时更换。 因此，为快速上线和体验，钉钉选择了通义千问作为默认大模型，除此之外用户有需求时还接入了其他大模型公司的模型，如智谱AI、月之暗面、Minimax等。用户的业务逻辑可以建立在自己选择的基础模型体系上，业务流程和数据流也不会进入钉钉平台。 “根据不同的场景和需求，我们可能还会推荐小模型或专用模型。”不穷说道。 不穷在给用户提供模型的选择建议时，会提醒他们更加关注模型的性能，如每秒处理的token量；大模型的安全性问题等，如本地部署还是云上部署；工程解决方案的多重性和便捷性等。这些问题也是钉钉构建AI助理时实际遇到的。 “C端还没有太多优秀的产品形态出现” 无疑，GPTStore的模式吸引了大批用户：刚正式发布时，OpenAI就宣称已经有超过300万个GPTs。 与传统软件相比，AI助理、GPTs等的不同之处在于拥有非常快的更新速度，模型、交互方式、 数据和产品形态等方方面面都变得迅速，开发者也不要从头到尾进行开发和维护。这种模式还大大降低了开发门槛，没有研发背景的人也可以尝试，而对于研发人员来说则大大缩短了研发、测试等成本。 大模型领航者 AIGC实践案例集锦 一方面，这意味着传统软件的研发模式可能会面临变革；但另一方面，不穷也指出，百万千万级的GPTs目前看相对来说形式比较单一，没有传统软件那样强大的业务理解能力，因此目前GPTStore中的应用很难成为高价值产品。 不穷认为，尽管GPTs的创建能力很强，甚至一天可以创建几十个，但它目前还代替不了传统软件市场。 钉钉也在寻找有价值的产品。在1月份宣布启动的AI助理创造大赛上，目前有超过2000支队伍提交作品，不穷也会亲自体验这些AI助理，寻找优秀的作品。 那么，个人玩家又如何在GPTStore这种模式中赚到钱呢？ 不穷的答案是价值，“只要有价值就一定能挣到钱，只是迟早的问题。”在他看来，个人或企业创建AI助理的核心在于要解决具体的问题，解决问题本身就有价值。但现在“卖工具”的人可能不是最终解决问题的人，解决问题的人是那个场景中 离问题最近的人。 AI助理的商业模式则与传统软件相似，需要一定的用户使用量，“只要使用量上去了，很快就会有开发者赚到第一桶金。”根据不穷的经验，一旦调用量达到百万次，软件做商业化就是必然的。 这与之前钉钉在与IDC联合发布的《2024AIGC应用层十大趋势》中提到的观点“新一轮的AIGC之争，也将会是一场流量入口之争”是契合的。钉钉在其中也提到了有望成为超级App的想法。 “在目前的ToC场景中，我还没有看到太多优秀的产品形态出现。”不穷说道，“但是，AIAgent绝对不是自我陶醉，我相信一定会有出色的产品出来，应该给创新者更多的时间。” 根据不穷之前的访谈，AIAgent和智能助理产品发展到一定程度后，中间态、碎片化的产品成为极简流量入口，就会出现“NoApp”理念重塑应用的情况：通过对话即可直接调取、使用各种工具，更多非软件专业人员也能获得强大的系统服务。 “SaaS挣不到的钱，会通过Agent挣到” 相较C端，B端是不穷更看好的方向，因为To B场景更容易产生有效的产品：确定的数据和场 景可以帮助解决大模型的幻觉问题，同时通过批 量和自动化的方式提高ToB常见工