Kyligence Zen2023一站式指标平台产品白皮书

⽩⽪书 WHITEPAPER KyligenceZen ⼀站式指标平台产品⽩⽪书 ⽬录 概述4 指标平台的起源与发展4 指标平台的价值5 Kyligence公司及产品6 Kyligence公司6 KyligenceZen简介6 KyligenceZen关键特点及技术优势7 指标平台与BI⼯具的关系7 指标平台的层级7 KyligenceZen主要技术优势9 核⼼OLAP能⼒9 统⼀的指标⽬录10 ZenML指标语⾔10 开放性11 KyligenceCopilot-AI数智助理11 KyligenceZen产品能⼒/特性12 部署⽅式12 指标定义12 数据管理13 数据源导⼊13 公共维度管理13 智能缓存13 指标管理13 指标导⼊导出13 指标标签13 指标分享13 丰富的指标分类14 海量⾏业指标模板（KyligenceZenSaaS）14 数据产品15 仪表盘15 可追踪的⽬标管理15 ⼀键归因分析16 ⾝份认证和访问控制17 安全说明18 ⽹络安全(KyligenceZenSaaS)18 数据加密(KyligenceZenSaaS)18 合规与审查18 KyligenceZen成功案例及场景20 平安银⾏：潘多拉指标平台20 Kyligence:企业多云成本精细化管控22 总结25 概述 指标平台的起源与发展 在当今数据驱动的商业环境中，企业对于数据的需求越来越迫切。⼤数据技术的兴起为企业带来了海量的数据，但同时也带来了新的挑战和问题。企业需要能够有效地管理和分析这些数据，以便从中获得有意义的⻅解和指导决策。在过去⼏⼗年中，商业智能（BI）和数据仓库技术的兴起使得企业能够收集、存储和分析⼤量的业务数据，从⽽⽀持管理层的决策和战略规划。然⽽，随着企业数据量的增⻓和数据类型的多样化，传统的数据处理和分析 ⽅法变得不够⾼效和灵活，在多样的前端需求（CRM，BI，Python，SQL，API）和多种数据来源（ERP，APP， Web，RDBMS，Excel/CSV）之间，需要有⼀层平台，来帮助他们实现数据的存储、计算和控制。 如果追溯的话，从最早期的数据建模时期（代表如SAPBusinessOjects，IBMCognos，OBIEE，MicroStrategy）到⾃助式BI时期（代表如Tableau，PBI），⼤家对这样的⼀层平台探索已久。⽽指标平台就是这层平台发展⾄今的⼀种最新形态。 指标平台作为供组织集中管理、存储关键指标的平台，提供统⼀业务模型、指标管理、指标加⼯、数据服务于⼀体的服务。它是⼀种集中组织数据的⽅式，以可重复的⽅式访问关键指标，⽤⼾可以使⽤多种应⽤在下游消费这些指标。指标平台是连接后台与前台的“中间层”，根据前台的需求去后端找数据，并加⼯成”数据服务API”，供前端所有系统来使⽤。指标平台作为这样⼀层的特性有：⼀致性、访问性和复⽤性。作为数据架构的⼀部分，指标平台作为⼀个标准化的单⼀可信源，开始受到重视，有了指标平台，您可以： 以各个类型的指标为对象，集中管理和消费数据仓库中的数据。 建⽴标准，确保企业指标背后的数据是准确和⼀致的。 不论⽤⼾使⽤的是什么⼯具，提供对准确数据的访问，⽅便⼈们在分析数据时看到⼀致的结果。 指标平台的价值 在当前数字经济时代，⼤数据、云计算、⼈⼯智能等技术的迅速发展，企业更需要结合现代管理科学理论和数字技术，构建以指标为核⼼的数智化管理体系。指标将成为企业内部统⼀的业务语⾔，作为业务决策的依据，是企业最核⼼、最重要的数据资产，⽽指标平台将为企业的指标管理模式带来深刻转变。 ⽀撑以指标为核⼼、数据驱动的数智化管理体系。企业内各级管理⼈员可以通过指标平台更加便捷⾼效地访问数据化、体系化的业务经营指标，从⽽更加及时、准确了解经营情况，真正实现基于数据驱动做出正确的决策。 降低⽤⼾⻔槛，赋能业务⾃主⽤数。指标平台可以⾯向全公司⽤⼾提供数据访问、⾃助分析以及数据开发能 ⼒，降低⽤⼾使⽤数据的⻔槛，赋能业务⾃主⽤数，加速企业数据分析⽂化的培养。 提升开发效率，以数据敏捷推动业务敏捷。指标平台通过指标模型智能管理、加⼯与查询加速，可以⼤幅提 升数据开发效率，以数据敏捷推动业务敏捷，变⾰传统的“业务提需求，IT做开发”的合作模式。 助⼒数据治理。由于指标计算涉及底层多⽅⾯的数据，且业务⼈员⽇常会频繁关注和使⽤数据指标，数据质量导致的指标⼝径不⼀致的问题会更容易被发现。以指标治理为抓⼿，对⻬指标⼝径，能有效推动数据治理 ⼯作。 Kyligence公司及产品 Kyligence公司 跬智信息（Kyligence）由ApacheKylin创始团队于2016年创办，是领先的⼤数据分析和指标平台供应商，提供企业级OLAP（多维分析）平台产品KyligenceEnterprise和⼀站式指标平台KyligenceZen，为⽤⼾提供企业级的经营分析能⼒、决策⽀持系统及各种基于数据驱动的⾏业解决⽅案。 Kyligence已服务中国、美国、欧洲及亚太的多个银⾏、证券、保险、制造、零售、医疗等⾏业客⼾，包括建设银 ⾏、平安银⾏、浦发银⾏、北京银⾏、宁波银⾏、太平洋保险、中国银联、上汽、⻓安汽⻋、星巴克、安踏、李宁、阿斯利康、UBS、MetLife等全球知名企业，并和微软、亚⻢逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence获得来⾃红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中⾦资本、歌斐资产、国⽅资本等机构多次投资。 KyligenceZen简介 基于Kyligence核⼼OLAP能⼒打造，KyligenceZen提供集业务模型、指标管理、指标加⼯、数据服务于⼀体的⼀站式指标平台。结合Kyligence多年来为⾦融、零售、制造等⾏业客⼾落地指标平台的丰富实践经验，KyligenceZen旨在解决企业⾯临的指标管理、分析和应⽤痛点，帮助企业构建数字化管理体系，凭借低代码的指标服务及灵活的AI能⼒，⼈⼈都可以利⽤指标快速开展⼯作，实现指标驱动的管理与决策。 KyligenceZen关键特点及技术优势 指标平台与BI⼯具的关系 指标平台和BI⼯具间并不是⾮此即彼的关系，⽽是共⽣共存的关系。指标平台完成指标的管理后，可以输出到应 ⽤层的多种应⽤，其中包括BI⼯具。这种架构可以实现对于所有应⽤都使⽤同⼀套⼝径的指标，避免在不同应⽤中存在歧义。 指标平台的层级 对于指标平台的建设，实际使⽤中有三种⽅案，体现在把指标语义维护在不同的层级。（引⽤⾃Gartner研究报告 《DemystifyingSemanticLayersforSelf-ServiceAnalytics》） 1.指标语义在数据平台内 在数据平台内，作为数据服务扩展⽽构建指标语义层，⼀般是通过数据集市、视图（包括物化视图）和在线分析处理（OLAP）模型实现。 优势：数据⾼度集中、受治理程度很⾼；最⼤化利⽤企业内部的资源和技术；能够为现有⽤⼾提供⼤量数据。 挑战：⾼度依赖IT部⻔和数据⼯程师；灵活性较差；难以处理⾮结构化数据。 总结：最中⼼化的⽅案，灵活性最差。 2.指标语义定义在BI层 作为BI的内置功能，指标语义在BI内定义。 优势：⽀持灵活、敏捷的数据分析，加速数据到洞察的过程，有利于数据平⺠化。 挑战：数据受治理程度较差；数据模型和指标分散在多个系统；数据受限于BI⼯具的技术栈。 总结：最去中⼼化的⽅案，赋予业务最⼤的灵活性，但带来的是治理问题。 3.独⽴的指标平台（Kyligence选择的⽅案） 指标语义定义在数据源和消费层之间的独⽴层，⼀般是通过数据虚拟化、抽象层或数据湖来实现。 优势：数据受治理程度较好；能够集中存储数据分析模型和指标；⽀持对接跨数据源的多种数据格式。挑战：需要⼀定的IT开发和实施的⼯作；传统产品对数据科学、机器学习、其他数据应⽤的⽀持不⾜。总结：兼顾了指标集中治理和业务灵活性的需要，配合产品化⽅案可以解决开发成本的问题。 KyligenceZen主要技术优势 核⼼OLAP能⼒ KyligenceZen依托Kyligence擅⻓的以预计算为主的核⼼OLAP能⼒。预计算技术将数据事先按维度组合聚合，保存结果为物化视图。经过聚合，物化视图的规模将只由维度的个数和基数决定，⽽不再随数据量的增⻓⽽线性增 ⻓。KyligenceZen依托于此核⼼OLAP能⼒为上层应⽤提供可靠的技术⽀撑，可以实现在PB级数据集上的秒级查询响应、⾼并发⽀持、线性扩展能⼒等，从⽽⽀持指标平台服务海量业务⽤⼾，且能快速展现指标。 统⼀的指标⽬录 KyligenceZen帮助⽤⼾进⾏统⼀的指标定义和管理。基于⼀致的基础指标，⽤⼾可根据业务需求灵活⽣成各类复合指标及衍⽣指标，并进⾏指标计算、指标分享、指标分类等操作，在统⼀的指标⼝径之上，通过指标归因分析等能⼒即时获得可信的洞察结论。 随着所在的组织对KyligenceZen的使⽤，指标数量增加，指标的管理问题也会浮出⽔⾯。KyligenceZen在统⼀指标⽬录中提供了丰富的指标管理功能，例如指标分类、标签分类、标签筛选、克隆指标等，满⾜多样化的业务需求。 指标分类功能，可以按组织的管理需要根据不同⽅式对指标进⾏分类，并对⼀个分类进⾏批量化的授权管理。例如，可以根据组织架构进⾏分类划分，分为财务、⼈⼒资源、⽣产、运营、销售等；也可以根据应⽤场景进⾏划分，分为领导驾驶舱指标、对内信息监管、对外监管报送、客⼾⻛险管理、统计⼯作考评和经营分析。 ZenML指标语⾔ Zen指标语⾔即ZenMetricsLanguage，它是⼀种基于YAML的描述性语⾔，KyligenceZen使⽤它来定义度量、维度和底层关系数据集。将ZenML视为⼀个语义层，可以让⼯程师像写代码⼀样去定义和管理指标。通过将技术语 ⾔转换为业务语⾔，⾮技术⽤⼾也可以轻松获取数据洞察。 同时，ZenML解耦了数据建模与数据可视化，提供了⼀个统⼀语义层给下游数据消费者使⽤，有助于企业数据资产的沉淀。 举例来说，使⽤ZenML可以存储⽤⼾创建的所有度量定义和相关数据模型，然后围绕ZenML提供各种数据服务， 包括： 基于SQL的指标查询和BI集成，通过开放的API，如JDBC/ODBC/RestAPI 业务领域专属的指标模板 ⽬标管理、进度跟踪和告警 因果分析、异常检测 指标数据⾎缘 关于ZenML的更多知识和使⽤例⼦，您可以查看：https://zen-docs.kyligence.io/zenml-intro 开放性 KyligenceZen作为数据与应⽤间的指标中间层，向上下游系统提供了良好的开放性。 提供Excel/WPS插件，⽤⼾⽆需改变原有习惯，在任何平台的Excel/WPS中都可快速连接KyligenceZen进 ⾏指标分析 提供通⽤JDBC接⼝，对接主流BI，⽤⼾可以使⽤BI来连接⾄KyligenceZen进⾏指标数据的展现。 提供丰富的OpenAPI，可集成对接各类外部系统。⽐如和客⼾已有的指标管理系统对接，实现指标元数据的同步，并充当对外的查询接⼝。 KyligenceCopilot-AI数智助理 KyligenceCopilot是基于KyligenceZen⼀站式指标平台的AI数智助理，结合⼤语⾔模型能⼒，帮助⽤⼾通过⾃然语⾔对话获取指标、完成围绕业务指标的分析和洞察、并⽀持⾃动创建仪表盘，⼤幅降低⼀线业务⼈员⽤数的⻔槛、提升⼯作效率。此外KyligenceCopilot还可以推送指标到IM群组、创建任务，进⼀步整合围绕指标的⼯作流程，促进协作。 智能的数据助⼿ ⽤⼾可通过图形交互将底层的数据转化为业务可理解的指标定义，因此可⾼效的将⽤⼾的⾃然语⾔提问匹配到指标中的语义信息，从⽽实现AI驱动的数据分析。 ⾃然语⾔驱动 通过⾃然语⾔提问即可完成指标分析（将⾃然语⾔转化为SQL，查询引擎执⾏SQL获取抽象结果后，再⽤⾃然语