Moka李国兴谈SaaS大模型20230704

Moka李国兴谈SaaS+大模型：越垂直，越具象，越能挖掘出AI的价值 对大模型应用而言，SaaS是个很特别的品类。它意味着很多非常垂直、具体的场景和需求。 举例而言，HR领域，如何让AI判断面试者的简历价值，如何应对员工各式各样的询问，甚至层出不穷的各种招聘和细分行业术语该如何让大模型做到自然语言理解？ 6月，HRSaaS平台Moka发布了基于大模型的新产品MokaEva。 Moka的联合创始人兼CEO李国兴在发布会后来到FounderPark直播间，分享他们对于大模型在垂直领域SaaS产品中应用的经验。 作为行业首个推出「AI原生」产品的公司，Moka在调用大模型能力，匹配具体业务场景方面有着自己的思考。 他提到，想让大模型在SaaS产品中发挥更大的价值，要不断挖掘自己的数据，让模型能够更高效地调用、更「自然」地理解数据，从而反过来为用户提供价值。 在产品形态上，李国兴认为自然语言能够满足低频用户的很多需求，补足了之前图形交互学习成本的问题。软件从业者应该更多思考大模型的「长板」如何能帮助补足、解决之前默认无法解决的用户痛点。 而在这个过程中，最重要的是敏捷，快速尝试，快速迭代，不断地测试模型能力和产品需求之间的匹配。 这是坚定入局者的心态。 01□AI+HRSaaS产品背后的思考□Q：□我们今天请来了国兴，想深入地聊一聊在人力资源领域里，大模型会对这样的垂直领域带来什么样的影响？ 昨天Moka发布了基于大模型的新产品Eva，能不能给我们介绍一下它的背后你有怎样的思考？ 李国兴：□我们昨天刚刚开了发布会，第一次跟广大用户朋友们介绍这个全新的产品。也是过去几个月的时间，我自己投入比较多精力在跟的项目，连轴转研发的产品。 因为我们做的是HR业务场景，所以更多的是围绕这个业务场景，解决一些垂直的问题，背后应用到大模型的能力。 总的来说，我们对它的定位叫做「AIHR伙伴」，EVA这个名字其实也是一个拟人化的定 位。我们希望它一方面，能够去帮助我们把很多HR业务上的事情自动化掉，帮忙处理掉。另一方面，它也不仅仅是一个纯粹的替代作用。更多的是怎么让HR团队和这个产品、技术更好地结合。 我们一直讲一个关键词，叫做10倍地提升生产力（10x），这是我们的目标。所以我们在产品上会有很多不同的维度，因为HR也会有不同的角色。 我们重点介绍了Eva的三个能力维度。 第一个「懂数据」，帮忙把招聘和人事的数据，让用户通过自然语言问询就能快速获取和统计。这个其实解决了很多痛点。举个例子，消费这种数据的一般是企业的管理者，他们 可能会问，「这个季度开始了，我们的目标制定的进展如何？OKR的进展如何？」Eva就可以帮助对应（相关数据），它能理解我们的目标是什么，然后通过API去拉取相关数据，最后呈现给我一个按部门分类的完成进度情况。 再比如面试，（大型团队）可能不一定能记住有哪些岗位在招聘，就会去问最近候选人的进展情况，Eva会理解，面试候选人有哪些，是哪些职位的，招聘漏斗是怎样，然后自动呈现一个图表。 这种都是我们非常常见的，公司老板或者业务负责人甚至HRD等角色，可能偶尔会遇到的一些问题，那么他们只需要跟Eva三五轮对话就能获取到数据，以往可能比较痛苦，因为需要把数据需求给到HR团队，或者需要通过BI工具汇总和统计，这样门槛就比较高。过去客户有 问题可能会找到我们的CSM团队帮忙配置，配置好了返回客户HR，再反馈，再给老板看， 可能会进一步想调整需求，比如补充一些数据，或者统计口径再调整，来回几次，可能需要几天到一两周的时间，链条会比较长。我们希望能够cut掉中间的这些链条，真正能够让终端用户非常简 单地随手获取到想要的数据信息。 第二个「懂员工」。我们People产品的场景里比较常见的痛点，比如HR同事可能经常 会被问到一些重复问题，比如请假、比如发薪日，薪酬怎么计算，一些人事的事务办理，开证明等等细节问题。 现在我们想通过Eva自动化地处理员工日常的这些咨询，最大程度减少人为介入。这个比较有意思的地方是，它严格意义上并不是一个完全新的问题和领域，之前我们也能听说一些chatbot（聊天机器人）解决这种问题，但如果详细了解过去的解决方式，就会发现有一些局限性。 比如，技术模式是问答配对，matching的算法。你要设定很多员工会问的问题，你希望给 到的答案，然后设置一些触发条件。一个很大的局限就是，你基本只能做单轮对话，如果员工追问就没法做。以及它只能回答一些通用的问题，不能根据员工自身情况给出回答。它的维护成本也比较重，需要不断地维护。 Eva不需要太多的额外配置，员工手册里涵盖了大量的人事政策、福利待遇等等知识类信息，然 后我们本身也会存储很多员工各种信息数据，包括假期情况，薪酬计算、考勤结果等等。员工在询问的时候，Eva能够覆盖很多场景。比如我试用期什么时候结束？我需要提前准备什么工作？我的 假期还有多少天？你可以追问说，我7月想请5天假，有什么要注意的？要提前多少天申请等等。 我们内部一些测试，认为80%、90%的问题是能够覆盖，能够被Eva解决的。这也是一 个挺重要的突破。还有GPT这种大模型，它有很强的拟人化回答的能力，回答的内容我们可以调教得比较有温度，某种意义上跟人回答的其实差不多，甚至有些情况还能有更好的关怀。 它100%更好的地方，是7*24小时的，HR很多时候可能不在电脑前或者在休息。第三点，「懂招聘」，这个就比较深入了。 我们做了很多功能，自动化写JD、简历的自动化评判初筛，面试阶段通过对需求的理解和候选人简历的阅读，自动生成一些面试问题供面试官参考等等。 Q：□这个挺有意思的。可能有些经验丰富的面试官，能实时「生成」出好问题。但如果HR的 知识、对面试的认知，能变成数据被学习、积累，在面试之前形成好问题的提醒，我觉得这个蛮有意思的。因为我也做很多面试，有时候来不及做预先准备的话，就要实时去提问，还要保证问题质量很高，相当于实时做一次咱俩这样的直播访谈，我们（直播）可都是要（预先）做提纲的。 你刚刚提到很重要的一点，把非结构化的数据自动地结构化地整理，变成有意义的数据， 更加宽频地响应用户的需求，兼容性会更好。（AI）能对这些数据有自然的理解，反过来就能为人提供价值。这个大的思路，是国内还是硅谷，不管大公司小公司，都是特别值得注意的，是AInative（原生）要思考考的。 02□最重要的是敏捷，要快□Q：□我也很好奇，Moka是国内SaaS领域里行动很 快的公司。在大模型这波浪潮兴起之后，你心理发生过怎样的化学反应？最终怎么落到产品上？每个人可能都被震撼过，但震撼的方式不一样，分享一下你的情况。 李国兴：□（笑）说实话，我接触的时间比团队还要晚一点，很惭愧，因为我其实是学AI相关的 。团队大概去年底就注意到ChatGPT，然后1月份就已经做出来自动写JD的功能，很快我们就上线了。 我个人其实是2月左右。因为之前的感受是，「怎么又出来一个chatbot？」Chatb ot是很多年一直都在做，有新东西出来，但感觉好像都是比较傻的chatbot。后面慢慢注意到，自己也体验了一下，刚开始用的时候确实非常惊艳。 之前我传统认知的机器学习自然语言，还是偏非常特定的任务域的问题解决，不管是图像的人脸识别 ，还是NLP的一些问题，都是非常具体的任务，然后你通过设计模型和构造相关数据，把任务优化好。 ChatGPT是一个能力极其泛化的模型，它也拥有大量的知识，两者都需要，因为没有知识，就没法做自然语言处理和理解。 （笑）当时我在想，我们之前做的很多AI的任务、NLP的任务都白做了，很多研究领域可能都不需要做了。 还有，它能体现一些逻辑推理能力，这让我非常惊讶。因为想不到生成模型、预测模型会有逻辑推理能力。比如你问一道数学题，它可能计算数据会有偏差，但它知道怎么去计算的顺序，一步一步拆解 、执行。 最开始坦白讲，是比较焦虑的。 Q：□正常，都会焦虑，从一开始「怎么又来个chatbot」到惊艳、焦虑，特别真实。 李国兴：□当时在想，兴奋的点是技术突破一定会带来非常大的机会，但焦虑的点事，对我们的机会 到底在哪？当时没想清楚，后来理了理思路，跟团队在内部很密集地做一些讨论。思路慢慢清楚，对于我们这种SaaS软件如何改造，怎么一步一步发生，未来的形态会是什么样？有了一些更好的 判断，内部达成了一些共识，就组建了一个项目组团队去推进。我觉得最主要的是敏捷，快速地迭代。说白了大家都不知道这东西该怎么用，能达到什么效果。 所以我觉得最重要的是，我们需要快，需要敏捷，需要去尝试。 Q：□我估计很多也会感兴趣，现在这么多大模型，你选择哪个大模型的逻辑是怎样的？做大模型的可能也想听。 李国兴：□我觉得核心是，对于「我们怎么做」的角度来说，不能太绑死一家大模型，这可能会有一些风险。不管是政策性的风险，还是其他一些不可控因素。 因为在基于大模型开发的一些产品，很核心的价值链条和能力供给是来源于它，如果太被单一地绑定某个服务商，我觉得不是一个很好的事情。 在我们内部产品技术架构的设计上，肯定要把这个模块去独立出来，我们有一些测试框架，去快速地验证，比如不同场景使用不同模型，或者一个模型不同的prompt，最后的效果有怎样的差异 ？ 我们要快速验证它的能力，同时架构设计尽量解耦，能去接入不同的大模型。这是从自身要关注和做好的事。 肉眼可见的，GPT肯定效果最好，其他的比如Claude等等。国内我听到业界比较有信心 的判断，今年下半年应该很多都能达到3.5左右的水平，我相信大家追赶起来会挺快的。过去 几个月也看到开源社区的蓬勃发展，这也是完全超出我预期的，发展非常快，每天都有新东西出来，效果也还不错，我觉得是值得期待的。 中长期来看，大模型更类似云设施，是基础能力，要用它构建很多应用层，才能实现价值的最后一公里的交付。从这个角度来说，我个人判断后面会偏同质化。 Q：□你提到开源，这就意味着要调自己的模型。李国兴：□我觉得能看到两个大模型的发展方向。 一个是，开源一定会有非常大的商业潜力。对我们这样toB的公司来说，很多时候需要一些私有数据，通过开源大模型，在内部finetuning也好，去host一些模型，应用 到场景里。 然后有一些偏通用的，场景泛化的，比较适合通过「云」的形式接入提供API的大模型。我觉得这两种模式都会有很大的潜在价值和商业空间，我们自己也都在尝试，目前demo的能力是后者为主，通过商业化大模型的API，怎么更好地结合我们系统的数据和API架构，这也是没 有那么简单的改造过程。 就是怎么调用我们的系统，怎么更好地理解用户在我们业务场景里语境的问题，怎么能给ta真的 想要的数据，从产品到技术都有挺多的挑战要解决。做一个概念，单一场景里简单的demo是比较容易的，但是真的能投入到productionuse，让客户规模性地使用，还是挺有 挑战。 我们内部已经比较激进地在推进，最快可能也是7月，希望能开放个别的共创客户，先试用产品 ，共创的状态，还需要很多努力，不断地打磨，才能达到真的满足用户场景预期的产品。 这是我们不断努力的方向。开源我觉得能做的事很多，我们现在也是偏探索阶段，后面有好的经验会来跟大家分享一下。 Q：□有道理。对Moka，核心是源于对细分领域里场景的熟悉，数据如何被有效地organize起来，在大模型里形成对垂直领域更高效的能力，这不是大模型本身能给的，需要跟场景结合。 不管是云的形态，还是开源基础上再训练一个，都是要多关注自己要交付的价值，对场景的理解。但我特别赞赏的是「入场」，投入心思，下决心，把东西做出来，想法明确了，再继续调，小范围地试，再大范围地试，然后才有根本性的变化，我觉得这就是上场的过程，从热身、上场、组织进攻，得分，最终赢下比赛，「play」的状态是非常重要的。 03□成熟SaaS厂商应该尽快All-in□