卷首语PREFACE 极客邦科技创始人兼CEO2024年7月 2024年,AIGC经历着爆发式增长的热潮。不仅各类国产大模型如雨后春笋般相继崛起,相关的商业化应用也步入了绽放期。从内容创作、数字电商、企业生产场景到医疗、教育领域,各行各业都在探索如何利用AIGC提高效率和创造价值,并被注入了前所未有的创造力与想象力。 随着技术的蓬勃发展,围绕AIGC的应用生态逐渐形成。在此期间,大模型领域内“百家争鸣”的激烈竞争,加速了行业价格战的兴起,更在无形中极大推动了AIGC技术普及至大众的进程。AIGC的各类应用开始广泛从理想迈向现实,惠及越来越多的用户群体。 面对这样的发展趋势,极客邦科技旗下InfoQ极客传媒自2024年初,启动《大模型领航者》访谈栏目,并策划实施了一系列围绕AIGC和大模型的选题报道、专访、直播、演讲分享等多种形式的内容,聚焦于实际案例应用、大模型的实际部署、团队背后的故事等核心话题,与众多行业 专业人士进行了深入的对话与探讨。旨在深入了解当前AIGC前沿技术在企业应用领域的最新动态,为各行业提供实战经验与趋势洞察。 《大模型领航者》电子书正是基于前述内容,进一步做了筛选、提炼和分类。此次推出的第一期电子书收录了InfoQAIGC频道在2024年上半年发布的超20篇文章,包括QCon全球软件开发大会(北京站)2024和AICon全球人工智能开发与应用大会(北京站)2024的热门演讲,以及对钉钉、面壁智能、数势科技、腾讯、京东、字节跳动、图灵机器人、云知声、零一万物、达观数据等企业的独家采访。 本册共包括“大咖视野”、“观点碰撞”、“应用案例”、“技术实践”与“AI测评室”五个部分。其中,“应用案例”又涵盖互联网产品、企业生产提效、医疗、教育以及更多垂直行业的章节内容,分别从不同行业的视角展现了大模型应用的无限潜力;“AI测评室”则囊括了今年各热门大模型的实测。 受限于电子书篇幅,我们无法尽数呈现InfoQ在AIGC频道的全部精彩内容。但与此同时,InfoQ开设的「AI前线」微信公众号正保持着每日的优质内容更新,不间断地向AI爱好者、开发者和科学家,持续奉上大模型最新资讯、AI技术分享干货、一线业界实践案例,希望助力大家全面拥抱 AIGC。欢迎关注! 在这场前所未有的时代变革中,极客邦科技期盼与大家并肩前行,一同深入探索AIGC时代的每一步发展,合力推动生成式AI领域人才的全面成长,以及规模化落地的宏伟愿景。 【欢迎扫码关注AI前线】 CONTENTS目录 大咖视野|VISION 01|钉钉卡位战:SaaS挣不到的钱,Agent会挣到7 02|26岁带着百人团队冲刺大模型,面壁智能天才CTO:高效比13参数更重要 03|这个离开大厂去AI创业的互联网大佬,带着他的“Killer20Agent”来了 观点碰撞|OPINION 04|大模型开闭源争吵不休:开源落后闭源一年,决定模型能力的不是技术? 29 05|“国外一开源,国内就创新”!面对中美大模型差异,我们该突37破还是继续模仿? 应用案例|CASES 第一章:互联网产品 06|如何1秒内快速总结100多页文档?QQ浏览器首次揭秘大模型实现技术细节 07|京东商家智能助手:Multi-Agents在电商垂域的探索与创新 47 61 第二章:企业生产提效 08|字节跳动代码生成Copilot产品的应用和演进 09|大语言模型加持,是智能运维架构的未来吗? 10|用AI面试员工的企业,知道打工人在想什么吗?! 71 80 93 11|AI代码助手革新编程界:腾讯云专家汪晟杰深度剖析机遇与 挑战 100 第三章:垂直行业 12|巨头们涌入的医疗大模型,何时迎来最好的商业时代?107 13|AI老师的强大功能+真人老师的情感交流=未来教育?112 14|4人团队,如何用大模型创造近千万业务价值?127 技术实践|TECHNOLOGY 第一章:大模型训练与推理 15|万字干货!手把手教你如何训练超大规模集群下的大语言模型 16|当大模型推理遇到算力瓶颈,如何进行工程优化? 17|AI辅助内部研发效率提升,昇腾大模型推理的最佳实践 137 160 163 第二章:RAG与智能体落地 18|智能体技术发展趋势:谈大模型智能体与开放领域融合170 19|Agent还没出圈,落地先有了“阻力”:进入平台期,智力 能否独立担事? 175 20|“驯服”不受控的大模型,要搞定哪些事?188 AI测评室|EVALUATION 01|算数不行、还不懂中国文化,大模型现在抢不了设计师的饭碗!195 02|首届大模型“相亲大会”开始啦!谁是你的天选CP?206 03|Kimi的词+Suno的曲:能带我入选《中国新说唱》,但还223是干不过原神! 大咖视野 VISION 对话先行者洞见新未来 钉钉卡位战:SaaS挣不到的钱, Agent会挣到 出 品| InfoQ《大模型领航者》 主 持| 霍太稳,极客邦科技创始人兼CEO 嘉 宾| 叶军(不穷),钉钉总裁 作 者| 褚杏娟,InfoQ编辑 编 辑| 蔡芳芳,InfoQ主编 “ 2020年,刚带队做出全国第一张健康码的不穷加入了钉钉。不穷是阿里的第一位校招计算机博士,从PC时代开始触网,完整经历了移动互联网时代。而他如今面临的,是一场关于大模型的竞备赛。 想必已经无需用过多笔墨赘述。2022年底至今, ChatGPT的出圈程度还没有谁能超越,其背后的技术方向也早已经被竞相追捧。就像不穷说的“大家都充满了FOMO情绪。” 那么身处其中的钉钉,能够在这次浪潮中扮演什么样的角色? 大模型领航者 AIGC实践案例集锦 和很多企业一样,钉钉最初也没有一下就找到合适的入局方式。一年多前,看到自己与微软不约而同地都选择了给当前产品增加AI能力时,钉钉团队觉得这种方式已经很让人眼前一亮了,但大模型爆发的能量远比想象得还要大。 整个2023年,OpenAI、微软、谷歌等大模型发布频繁,李开复、王小川等也亲自下场发布大模型……去年4月,钉钉全面投入智能化,开始用大模型逐个将高频产品重做。到了当年六、七月份,钉钉内部有人提出:能否有一个直接AI原生的产品?这引发了内部关于从“+AI”到“AI+”的争论。这个想法与去年10月李彦宏公开提到的AI原生 理论异曲同工,可见国内的探索思路其实差异并不大。 那什么是AI原生?钉钉也在思索。其实在将思维转换成以AI为中心后,这个问题就不难回答。 “AI原生产品从一开始的思考就是全新的,就是要用纯AI的思路来解决一个任务。它从数据感知、任务分解,再到思维链,最后到行动执行,是一种全新的思考架构。”不穷表示。 而对于做AI原生的方式,钉钉选了Agent。 “我们依赖这些大模型公司” 今年1月,OpenAI正式推出了GPTStore。几乎同时,钉钉发布了AI助理,并宣布4月推出AI助理市场。 “GPTStore上线的第一天我就用了,当天就已经有非常多的产品了,速度非常快。但我分析了所有数据后发现,GPTs同质化非常严重,而且都是一些通过简单限定词、指令或角色扮演来形成的AI助手。”不穷说道。 这一体验让不穷认定,钉钉未来的AI助理市场不做全量推荐,只会推荐精选过的AI助理。 不穷强调,钉钉模式与GPTStore的不同:GPTStore通过不断丰富插件使AIAgent能够批量调用外部系统的能力,但它的组合效率要比钉钉低,因为钉钉拥有天然的ToB环境,其中有大量的工作任务需要解决。 不穷认为,目前钉钉的能力不在于做自己的大模型,而是在应用和数据,在工程性、用户体验以及ToB理解方面。对于Agent来说,大模型只是其中的一个能力,此外还需要非常好的场景和高质量的业务环境数据,这两者恰恰是钉钉有、而OpenAI目前还欠缺的。 对话先行者洞见新未来 对于与国内大模型公司的关系,用不穷的话说是:“我们依赖这些大模型公司,它们是我们的发动机和心脏。没有它们,我们无法运行。” 面向AI,不穷把钉钉定义为AI应用创作平台,企业在这个平台上连接、开发和加工各种应用。钉钉的核心任务就是连接场景和数据,实现结构性自动化和批量处理各种工作,并通过Agent让创作变得更简单。 具体来说,钉钉的职责是确保外部记忆存储部分的完善,包括短期和长期记忆的处理,同时做好任务规划,之后将大模型生成的内容与本地业务数据集成,并将形成的行动在各个系统中落地。 在不穷看来,当前国内各个基础模型之间的差距并不大,未来不是每个开发者都会关心基础模型的选择,他们更注重解决业务场景中的问题。因此, 如果基础模型效果不理想,开发者应该可以随时更换。 因此,为快速上线和体验,钉钉选择了通义千问作为默认大模型,除此之外用户有需求时还接入了其他大模型公司的模型,如智谱AI、月之暗面、Minimax等。用户的业务逻辑可以建立在自己选择的基础模型体系上,业务流程和数据流也不会进入钉钉平台。 “根据不同的场景和需求,我们可能还会推荐小模型或专用模型。”不穷说道。 不穷在给用户提供模型的选择建议时,会提醒他们更加关注模型的性能,如每秒处理的token量;大模型的安全性问题等,如本地部署还是云上部署;工程解决方案的多重性和便捷性等。这些问题也是钉钉构建AI助理时实际遇到的。 “C端还没有太多优秀的产品形态出现” 无疑,GPTStore的模式吸引了大批用户:刚正式发布时,OpenAI就宣称已经有超过300万个GPTs。 与传统软件相比,AI助理、GPTs等的不同之处在于拥有非常快的更新速度,模型、交互方式、 数据和产品形态等方方面面都变得迅速,开发者也不要从头到尾进行开发和维护。这种模式还大大降低了开发门槛,没有研发背景的人也可以尝试,而对于研发人员来说则大大缩短了研发、测试等成本。 大模型领航者 AIGC实践案例集锦 一方面,这意味着传统软件的研发模式可能会面临变革;但另一方面,不穷也指出,百万千万级的GPTs目前看相对来说形式比较单一,没有传统软件那样强大的业务理解能力,因此目前GPTStore中的应用很难成为高价值产品。 不穷认为,尽管GPTs的创建能力很强,甚至一天可以创建几十个,但它目前还代替不了传统软件市场。 钉钉也在寻找有价值的产品。在1月份宣布启动的AI助理创造大赛上,目前有超过2000支队伍提交作品,不穷也会亲自体验这些AI助理,寻找优秀的作品。 那么,个人玩家又如何在GPTStore这种模式中赚到钱呢? 不穷的答案是价值,“只要有价值就一定能挣到钱,只是迟早的问题。”在他看来,个人或企业创建AI助理的核心在于要解决具体的问题,解决问题本身就有价值。但现在“卖工具”的人可能不是最终解决问题的人,解决问题的人是那个场景中 离问题最近的人。 AI助理的商业模式则与传统软件相似,需要一定的用户使用量,“只要使用量上去了,很快就会有开发者赚到第一桶金。”根据不穷的经验,一旦调用量达到百万次,软件做商业化就是必然的。 这与之前钉钉在与IDC联合发布的《2024AIGC应用层十大趋势》中提到的观点“新一轮的AIGC之争,也将会是一场流量入口之争”是契合的。钉钉在其中也提到了有望成为超级App的想法。 “在目前的ToC场景中,我还没有看到太多优秀的产品形态出现。”不穷说道,“但是,AIAgent绝对不是自我陶醉,我相信一定会有出色的产品出来,应该给创新者更多的时间。” 根据不穷之前的访谈,AIAgent和智能助理产品发展到一定程度后,中间态、碎片化的产品成为极简流量入口,就会出现“NoApp”理念重塑应用的情况:通过对话即可直接调取、使用各种工具,更多非软件专业人员也能获得强大的系统服务。 “SaaS挣不到的钱,会通过Agent挣到” 相较C端,B端是不穷更看好的方向,因为To B场景更容易产生有效的产品:确定的数据和场 景可以帮助解决大模型的幻觉问题,同时通过批 量和自动化的方式提高ToB常见工