知识库问答市场厂商评估报告

1|知识库问答市场厂商评估-爱数 目录 1.研究范围定义 1 2.数据分析市场分析 4 3.厂商评估：爱数 8 4.入选证书 13 关于爱分析 14 研究与咨询服务 15 法律声明 16 3|知识库问答市场厂商评估-爱数 研究范围定义 1.研究范围定义 大模型是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的模型。2023年以来，ChatGPT引爆全球大模型市场。国内众多大模型先后公测，众多互联网领军者投身大模型事业，使得大模型市场进入“百团大战”阶段，2023年成为公认的“大模型元年”。 企业用户方面，大模型的应用速度之快超乎想象。2023年初，企业管理层对大模型的话题还停留在大模型是什么，是不是概念炒作。短短半年，大模型已经从饭后谈资走向落地应用。大企业管理层们希望了解到大模型能为企业发展带来哪些变革，大模型的应用路径是什么，如何提升大模型的投资回报率，以及应该为拥抱大模型做哪些准备。而且，大模型吸引的人群也愈发广泛，不仅吸引CIO、CTO等技术管理者的关注，CEO、CMO等非技术类管理者同样期待大模型在业务中发挥价值。这些转变表明，大模型的变革之力正日益得到产业界的认可。 通过对市场规模数据的分析，能较为直观地体现出企业对大模型应用落地的热情。爱分析数据显示，2023年中国大模型市场规模约为50亿元（人民币，下同）。2023年，企业在大模型方面的采购 特点是论证多、采购少，各企业计划在2024年开始大量释放大模型预算，因此市场规模将大幅增 长，预计达到120亿元。 爱分析认为，大模型市场从技术架构角度可以划分为基础层、模型层、中间层和应用层。基础层是指为大模型训练推理而提供的基础环境，包括湖仓一体、向量数据库、智算中心、大模型安全流通平台等。模型层是指基础大模型以及微调后的大模型，包括通用大模型、行业大模型、领域大模型和企业大模型。中间层是模型层和应用层之间的“桥梁”，有利于大模型在各种实际场景快速落地，包括大模型应用开发工具、LLMOps工具等。应用层是指大模型应用和解决方案，包括知识库问答、智能客服、对话式分析等。大模型市场划分详见下图。 本评估报告聚焦知识库问答市场，爱分析遴选出具备成熟解决方案和成功案例的厂商，供企业做厂商选型时提供参考。同时，在该市场下，爱分析重点选取了知识库问答厂商爱数进行能力评估。 3|知识库问答市场厂商评估-爱数 知识库问答市场分析 2.知识库问答市场分析 市场定义： 知识库问答是指将大模型与知识库相结合，改变原有的知识库构建、应用与运维的方式，致力于更好地支撑企业管理层及全体员工的知识检索与应用需求。 甲方终端用户： 企业管理层及全体员工 甲方核心需求： 成本可控、验证速度较快、覆盖的企业内部用户比较多等多重因素共同作用下，知识库成为大模型在企业落地的首选场景之一。从渗透情况来看，大模型在知识构建、知识校验和知识库应用三个环节渗透较深。 图1：知识库构建流程及大模型渗透情况 基于大模型在知识库场景的渗透情况，当前甲方对知识库问答主要有三项核心需求，一是压缩知识库冷启动时间，二是降低知识校验环节对人工的依赖，三是企业亟需解决幻觉问题。 压缩知识库冷启动时间。当前，知识构建工作比较依赖话术师，他们负责整理问答对和扩写相似问，此过程比较依赖他们的个人经验。一个话术师整理一类知识库通常需要耗费大约1-3个月的时间。知识构建是知识库冷启动的核心环节，知识构建效率偏低会直接导致知识库冷启动 时间比较长。企业需要借助大模型的理解能力和生成能力压缩知识库冷启动时间。引入大模型之后，可以提升问答对整理和相似问扩写的速度，甚至可以直接采用“大模型+文档库”的方式，实现更极致的冷启动压缩。 降低知识校验环节对人工的依赖。在完成知识构建后，企业需要校验知识准确性以及文法细节，此环节主要靠人工来实现。并且，该工作对相关人员的工作经验有较高要求。企业希望借助大模型实现自动化知识校验。 知识库交互方式变化，企业亟需解决幻觉问题，生成可信的答案。传统知识库主要采用人工检索方式，很难直接告诉用户答案，该交互方式比较低效。企业需要利用大模型的生成能力直接生成用户所需的答案。但是，交互方式的变化也为知识库应用带来新的挑战，即大模型幻觉导致的答案不可信。 厂商能力要求： 厂商需要满足三项能力要求，一是具备利用大模型进行知识分类、知识抽取和问答对拆分的能力， 二是具备解决两个校验难题的方案，三是具备RAG、微调等缓解大模型幻觉的能力。 具备利用大模型进行知识分类、知识抽取和问答对拆分的能力。引入大模型之后，首先可以做知识域的自动分类。第二个作用是自动抽取知识点的实体和关系，本质是基于大模型做预处理，降低对人工的依赖程度。第三个作用是问答对拆分和相似问扩写。过去，该环节非常依赖话术师，有大模型以后可以实现自动化，相关人员则转变为审核职能，即主要负责知识管理，而非知识创建。 具备解决两个校验难题的方案。直接利用大模型进行知识校验存在两个比较明显的问题。首先是过度校验。即原来的回答比较准确，但大模型会演绎出很多新内容，导致校验工作质量下降。第二个问题是新词校验存在滞后性，因为大模型背后的知识是无法实时更新的。厂商可以通过 Prompt工程、RAG、微调大模型等方式解决上述两个问题。 具备RAG、微调等缓解大模型幻觉的能力。企业需要利用大模型的生成能力直接生成用户所需的答案。但是，交互方式的变化也为知识库应用带来新的挑战，即大模型幻觉导致的答案不可信。厂商需要具体幻觉大模型幻觉的能力，主要有RAG、微调两种方式。RAG是指在大语言模型推理生成答案时，额外检索调用外部的知识，然后综合其检索结果进行回答生成。RAG为大模型提供了准确、丰富、可解释的知识支撑，从而实现更准确的语义理解、答案推理以及答案解释。微调则是厂商根据行业或企业数据，对基础大模型进行优化，以便其更好地胜任特定任务。对基础大模型进行后训练也是一种缓解大模型幻觉的方式，但较高的成本导致其可行性较低。 入选标准说明： 1.符合知识库问答市场分析的厂商能力要求； 2.近一年厂商在该市场至少服务1家企业（含POC）。 7|知识库问答市场厂商评估-爱数 厂商评估：爱数 3.厂商评估：爱数 厂商介绍： 爱数是一家全域数据能力服务商，通过全域数据的整合、治理、洞察与保护，实现数据的资产化和知识化，与客户共同打造数据驱动型组织。2003年爱数在长沙起步，2006年上海爱数成立，2023年爱数集团正式成立，公司双总部位于上海、长沙，目前全球员工约1700人，业务遍及60多个国家与地区，合作伙伴超过千家，客户积累超过27000家，分布于金融、高端制造、运营商、政府、公共事业等各行业。 产品服务介绍： 爱数产品架构分为基础层、认知层和产品层。基础层提供GPU集群和混合数据湖；认知层则通过领域大模型与领域知识网络相互增强，实现认知能力；产品层是指AnyFabric（数据编织架构）、AnyShare（智能内容管理平台）、AnyRobot（可观测性平台）和AnyBackup（统一数据管理平台）等多个应用产品，它们通过认知助手获得大模型赋能。 AnySharefamily7是AnyShare的最新产品，它是爱数打造的属于AGI时代的智能内容管理平台。AnySharefamily7通过挖掘非结构化数据的标签、编目、实体对象，形成的事件信息和知识，可以服务于合同一致性和风险审核、文案撰写、资料查找。并且，在AnyShare认知助手加持下，AnySharefamily7实现了大模型辅助创作、辅助内容阅读和智能搜索，同时可以通过内容开放API和组件被企业应用集成。 厂商评估： 爱数提供“企业知识+大模型”端到端解决方案，涵盖算力、基础大模型、知识化、应用等多个层面。并且，AnyShare存量客户只需采购爱数大模型一体机和AnyShare认知助手，即可实现轻量化升级。在大模型幻觉方面，爱数以检索增强生成模式（RAG）实现大模型领域化，可以有效缓解幻觉产生。在交付方面，爱数拥有完备的数据管理能力和服务团队，有利于大模型在企业真正发挥价值。同时，AnySharefamily7全模块开放，支持企业搭建个性化应用和流程。 爱数提供“企业知识+大模型”端到端解决方案，涵盖算力、基础大模型、知识化、应用等多个层面。在算力层面，爱数推出大模型一体机（AS19000），不仅让企业能够“开箱即用”，而且该产品将大模型训练与推理分离，实现低成本训练和低资源推理。爱数大模型一体机具有国产芯片和国外芯片两种型号，可以满足不同企业的需求。在基础大模型方面，爱数采用“中立”的架构设计，避免捆绑企业。如果企业没有倾向的大模型，可以直接采购封装了基础大模型的爱数大模型一体机；如果企业有倾向的大模型，可以直接将其接入AnySharefamily7。基础大模型之上是企业数据知识化能力层，爱数可以通过机器学习算法对企业数据进行解构，然后通过重新组装实现语义对齐，最终将其编织到领域知识网络之中。在此方面，爱数具备将企业数据以低成本、自动化方式转化为企业知识的能力。最上面是应用层，爱数提供内容门户、文档中心、工作中心、知识中心、表格中心、SAP数据资产管理等多个应用。 AnyShare存量客户只需采购爱数大模型一体机和AnyShare认知助手，即可实现轻量化升级。企业比较担心大模型应用对企业现状的挑战。一是IT投入挑战，如果需要企业将原有系统推倒，转而使用大模型相关应用，会带来比较高的投入。二是IT负责人规划能力会受到质疑，因为企业原有系统可能刚刚完成建设，未到更新换代的时候，IT负责人推进大 模型应用落地可能受到来自企业内部的质疑。三是业务连续性受到挑战，企业将原有系统推倒重建，可能需要较长时间完成系统切换，影响业务开展。爱数AnyShare产品推出时间较久，有众多存量客户。对他们而言，只需采购爱数大模型一体机和AnyShare认知助手，即可实现轻量化升级。大模型一体机包含算力和基础大模型，AnyShare认知助手包含爱数所有基于大模型构建的AI能力。因此，AnyShare存量客户无需推倒原来系统，即可低成本、快速地完成“大模型升级”。 爱数以检索增强生成模式（RAG）实现大模型领域化，有效缓解大模型幻觉。目前，大模型领域化有两种解决思路，分别是检索增强模式（RAG）和Finetune（微调）。检索增强是指在大语言模型推理生成答案时，额外检索调用外部的领域知识网络（领域数据、概念库、知识图谱等），然后综合其检索结果进行回答生成。领域知识网络为大模型提供了准确、丰富、可解释的知识支撑，从而实现更准确的语义理解、答案推理以及答案解释。相比单纯依靠模型训练，外部领域知识网络的引入可以大幅提升回答的准确性和合规性。它有效减少了大模型幻觉，使应用更加可控。爱数以领域知识网络“可控制、可编辑、可保护、可溯源”等特性弥补大模型“不可控、难编辑”等缺陷，有效减少大模型“幻觉”现象的发生。 同时，在构建领域知识网络的过程中，爱数利用大模型的知识提取能力，从已有数据中抽取补充知识，实现知识网络的不断丰富和优化。通过这种良性循环，外部知识网络的引入强化了大模型的知识抽取能力，从而反过来进一步完善知识网络本身。最终使基于该知识网络的大模型应用效果持续提升。 爱数拥有完备的数据管理能力和服务团队，有利于大模型在企业真正发挥价值。基础大模型是实现“企业知识+大模型”的核心，但不是全部，厂商还需要具备权限控制、杀毒、水印等一系列数据管理能力。如果厂商只掌握预训练、微调等方法，容易导致企业在“企业 知识+大模型”的应用之路上停留在比较初级的阶段。爱数AnyShare产品已有十余年历史，交付了数千家企业，经过几轮迭代逐渐形成比较完备的数据管理能力，包括权限控制、海量分布式文件管理、容灾、备份、杀毒、水印、国产化、涉密管理等。以权限控制为例，企业内不同角色能接触到的数据、能用大模型来理解的数据必受个人权限限制，爱数能够保证经过