中国卓越技术团队访谈录 & 架构师特刊：软件产品中的AIGC

目录 封面故事 我，一个95后，从阿里辞职与贾扬清去硅谷创业i 独家对话·大模型领航者 被时代选中的智谱AI：成为OpenAI，超越OpenAI1 丢掉LangChain、像Docker一样编排大模型应用程序：这支十余人的年轻创业团队如何在2个月做出一个LLMOps平台？ ..................................................................................................16 是全部重做还是融合改造？揭秘京东云言犀升级全过程26 AIGC实践前沿 文生图大型实践：揭秘百度搜索AIGC绘画工具的背后故事40 AIGC编程：代码编程模型的应用与挑战55 AIGC算法揭秘及产业落地应用分享76 广告创意领域中AIGC的应用91 管理能力进阶 影响力打造：一位前Twitter8年技术主管总结的经验教训110 日常沟通之道：走向果敢119 科技巨头是如何迷失方向的？探讨大型科技企业的问责制度131 文章推荐 大模型部署昂贵的原因：用最贵的模型处理最基本任务，犹 如“让兰博基尼送披萨”135 2023年AI与开源行业：今年第一篇盘点文章出炉了142 ChatGPT已成为2023年最大金矿，大家是怎么靠它挣到钱 的？163 封面故事 我，一个95后，从阿里辞职与贾扬清去硅谷创业 作者：褚杏娟 “在旧金山，随便进去一家咖啡馆，十分钟之内，你就会听到有人在谈论ChatGPT、AI。不管是不是有些天马行空，视线范围内的所有人都在尝试着融入和探索新的事物。”25岁决定与贾扬清一起在美国加利福尼亚州创业的鱼哲说道。 鱼哲跟贾扬清的缘分始于阿里云。2020年，鱼哲本科毕业后入职阿里云，这是贾扬清进入阿里的第二年。当时，负责阿里云机器学习平台PAI产品线的鱼哲进入了贾扬清的团队，并与之共事了很久。2023年，贾扬清从阿里离职创业，鱼哲也选择加入这支队伍。 “我非常认同扬清的创业方向，这个方向非常有趣。”鱼哲说道。在时代浪潮的推动下，每个人都在寻找自己的方向。鱼哲用这个中式的比喻来形容他们正在做的事情：我们不帮别人包饺子，而是为他们的厨师提供一个优秀的中央厨房，让厨师们可以轻而易举的获取所需的食材以便其能更好地准备自己的菜肴。 那么，这个98年的“新秀”是如何一步步走向AI创业道路的？他们现在究竟在做什么样的事情？又是如何思考AI的现状和发展的呢？ 从高中开始就一直很“不正经” 2017年7月的一个周末，深圳的台风袭来，而几十位极客正在科技寺举办的黑客松上如火如荼地讨论各种项目，其中便有鱼哲的身影。 在大二选择GapYear时，鱼哲在编程猫担任算法工程师，业余时间利用图像识别和自然语言处理技术，做了一个可以在对话中自动生成相应表情配合文字的程序，叫“表情包终结者（MemeFighter）”，据说是因为他经常在微信群的表情包大战中惨败。 两天内做出这样一个项目，对鱼哲来说并不是太难。 当大多数人在为高考努力的时候，受素质教育影响的鱼哲被更愿意去探索不同的领域。那时的他对技术很感兴趣，除了一直关注最新的技术动态，他玩过单片机、也参与了一些机器人项目，算是积累了一些经验。后来在第一次接触JupyterLab时，遇到问题后的鱼哲会自己修复并提出bug报告，因此还被JupyterLab创始人邀请参与到了项目中。 举一反三也是鱼哲的强项。在编程猫工作时，他需要让模型能够应对大量业务流量。最开始无从下手，但当时听了“Instagram如何架构Python后端”的讲座后，鱼哲借鉴了其思路并实施到自己项目中，取得了不错效果。 在鱼哲的成长过程中，实习工作是家常便饭，但也正是一次次的工作经历影响了他看待世界的方法，进而影响了他的职业选择。 高中期间，鱼哲去了一家咨询公司做市场调研的工作。实际上，这份工作并不复杂： 研究当时市场上的青少年科技夏令营主要做什么、定价情况、客户群体等，在收集到大量数据并进行分析后，推测当地人们的消费情况、对子女教育的投入等。 “这种洞察力非常有趣，你可以通过一些有趣的数据看到其他人是如何生活的，就像有了上帝视角。”鱼哲说道。咨询公司对方法论和数据运用的重视也深刻影响了鱼哲，让鱼哲养成了“用数据看世界”的思维习惯。 另外，这段实习经历也让鱼哲接触到了另一个跟技术无关的领域：商业运作。鱼哲开始思考将技术与商业结合起来。他认为，技术不能只停留在实验室中，只有真正落地并被大家接受和应用才能发挥更大的价值。 于是，本科期间，鱼哲选择了去美国伦斯勒理工就读信息技术与网络科学专业 （InformationTechnologyandWebScience，ITWS），计算机学院和商学院各学两年，深入了解技术对商业变革的影响。根据规划，其最终的职业发展方向就是技术的落地及商业化。 “阿里云最年轻的产品经理” 阿里云是鱼哲大学毕业后的第一份正式工作，22岁的他成了“阿里云史上最年轻的产品经理”。 在阿里云，鱼哲更像是经历了一场“系统化训练”，用他的话就是，这次工作对他在“个人技术深度和广度方面的提升、个人职业规划的明朗，以及商业模式和市场的理解上，都产生了很大影响。” 回忆起这段经历，鱼哲最先想到的是养成了“只要没干死，就往死里干”的态度。当时阿里云要研发很多新产品，刚入职的他心里憋着劲，将自己的工作节奏安排得非常紧：早上吃咖啡因含片，中午甚至只吃蛋白质代餐，一直工作到晚上九点或更晚。“年轻人总是会容易感动自己，以为这个世界离开了我就不行。”鱼哲笑着调侃当年的自己。 鱼哲坦言自己经历了失败，“想要第一次尝试的事情也不总是正确的”，但周围阿里的同事给了他很大的包容，经过多次试错后最终可以找到正确的“打开方式”。这些努力也让他收获颇丰：经手业务一年里基本上都实现了二三十倍的增长。 对鱼哲来说，“阿里云最年轻的产品经理”的标签，从某种程度上来说，代表着他年轻的特质。“年轻时，我们对许多东西都不懂，也不知道如何去应对，意识到‘自己不知道’很重要，更重要的是迎难而上的勇气和不断探索的精神”鱼哲解释道。 选择创业，只能不停地学习 去年下半年，ChatGPT的爆火引发了AI狂潮，进而吸引了一批AI创业者，多年前就想创业的贾扬清这次终于下场。 “在AI领域，模型的保鲜期基本上是一年左右。”贾扬清曾表示，因此他瞄准了需求更明确的方向：如何更好地部署模型，是否有更弹性的、更稳定的、更低成本的部署模式。不直接帮企业开发应用是因为许多情况下，用户比厂商更了解特定场景的实现细节，厂商无法深入解决专业领域的问题。 已经在AI领域积累多年的鱼哲很认同贾扬清的观点，因此在阿里云工作三年的鱼哲加入了这个创业团队。“我的优势在于曾在甲方和乙方两方都工作过，对整体商业模式有较为深入的了解。我还有一段时间在海外工作、生活和学习，这些经历让我能更全面地看待问题。”鱼哲认真剖析了自己。 如今，鱼哲在LeptonAI担任产品负责人一职，他经常参加各种线下活动，通过与外界交流来了解市场和用户的需求，进而反推出自己应该做什么样的产品。 对于鱼哲来说，大厂的很多工作相对来说都是可预测的，而现在的工作不确定性更强，但也更加让他兴奋。他如今需要更快速地学习，并充分利用自己之前的工作经验，来找到更好帮助用户实现自己AI落地的方法。 没有固定的上下班时间、更注重结果，选择创业公司让他比之前更加忙碌。同时，像鱼哲这样的AI创业者，现在面临的最大挑战之一就是市场的不确定性：整个AI和机器学习领域变化迅速，每天都有新的机会和技术涌现，大家每天读论文的速度都跟不上发布速度，他们需要始终都要保持初学者的心态，不断学习和吸收新知识。 “我也没有特别好的办法，只能尽力跟进最新进展，多与业内一些顶尖公司的专业人士交流，跟上这个快速发展的领域。”鱼哲说道。 “很难找出这样出色的团队” 作为一个创业公司，鱼哲所在的LeptonAI现在主要将精力放在了三个方面： 1.持续进行AI模型的前沿创新研究，涵盖训练、推理、编译等方面，不断提高模型 从训练到生产环境等各个关键环节的竞争力； 2.提升工程平台性能，确保整个工作流程更加高效； 3.不断思考和调整商业模式，以确保公司在整体上保持竞争力。 LeptonAI的自信来自创始成员们此前资深的工作经验。创始人们在这些大厂多次带领团队实现技术和产品架构升级。比如贾扬清就曾在Meta将Pytorch打造为深受AI开发者们喜爱的框架的经历。这给LeptonAI的启示就是要与开发者“共鸣”：虽然Pytorch可能在性能方面不及静态图的TensorFlow，但它让开发者使用起来更方便。“我们对AI开发者的需求有很好的理解，知道他们在使用时可能遇到的问题。” 除了“AI大神”贾扬清，团队很多成员之前都曾在阿里、Google、Meta和Uber等大厂工作，积累了在AI应用和AI框架方面的丰富经验。团队对云基础架构也有深入了解，能够充分利用各种云资源，包括完备的云服务商和基础的IDC。同时，新团队的成果，比如之前做的Llama2API以及SDXL性能优化等，得到了开发者们认可和好评，这也让团队更加自信。 “在业界，找出这样一支能够在这些方面都表现出色的团队是非常困难的。”鱼哲说道。 至今为止，LeptonAI仍然专注于开发面向应用和开发者的AI工具平台。不过，鱼哲也表示，顺势而为非常关键，“每个团队都需要建立自己的基本实力和核心竞争力，在此基础上，关键就看哪个团队能够更快地跟上技术热点的发展，并且能够充分利用已有的能力。” LeptonAI不会制定过于详细的长期规划，而是倾向更灵活地应对局势，以月、周为 周期来关注公司的目标和方向，不断调整和适应变化。 比如，目前市场需求主要集中在大模型方面，公司则会在这方面相对投入更多资源。但这并不意味着LeptonAI放弃了传统的深度学习或机器学习模型，因为很多企业实际上是混合模型的架构，这些传统模型并没有被舍弃。 怎么做好产品？ “我们不是过去传统意义上的服务提供者。”鱼哲强调，“我们是要将客户的行业专业知识转化为应用落地的加速器，而不是代替他们完成任务。” 在对外交流过程中，鱼哲发现用户的需求多且细，比如企业很想使用一些机器学习和深度学习模型，但模型的复杂度是个阻碍；企业想在不将代码放在公共互联网上的情况下，利用代言模型来管理代码补全，但技术能力可能无法实现等。鱼哲团队要做的就是依靠工作经验找到其中确定性的东西，来解决用户真实存在的问题。 当前，LeptonAI的思路是：开发者用Python原生方式构建模型，无需学习容器或Kubernetes；然后在本地调试和测试模型，再使用单个命令将它们部署到云端；之后，开发者可以通过简单、灵活的API在任何应用程序中使用模型。这个过程中，LeptonAI还要帮开发者选择最适合应用程序的异构硬件，并做水平扩展来处理大量工作负载。 为了方便开发者以更舒适的方式构建和打包AI应用，LeptonAI提供了一个名为“光子（Photon）”的Python库，“光子无处不在，何时何地都能找到它，同时也象征着 速度快的特性。”Photon最初是团队将机器学习模型、运行时环境以及工程代码有机结合的抽象概念。现在，Photon定义了一组处理程序和Python依赖项，用户也可以根据情况构建自己的Photon。 关于Python作为AI服务框架的问题，业内目前存在一些争议，比如PythonGIL是众所周知令人头疼的问题。为解决Python带来的性能问题，大家的基本思路似乎是放弃Python：HuggingFace用Rust重写了一个ML框架、Modular公司发布了名为Mojo的新编程语言。在鱼哲看来，Python的应用取决于具体的使用场景。例如高频量化交易场景可能需要使用更低级别的语言来满足毫秒级延迟的要求，而在其他情况下，几十毫秒级别的延迟可能是可接受的。 对于性能要求极高的场景，LeptonAI会对原本在