分布式Data Warebase-加速企业数据智能化

ProtonBase技术VP/胡月军 目录 01/企业数字化背景和趋势02/ Why Data Warebase?03/ DataWarebase系统架构04/ Data Warebase关键技术05 /企业私域数据智能化探索 企业数据资产的DIKW模型 数据处理历程 一个招猎业务的数据架构 上述数据架构的弊端 分布式Data Warebase 不是发明而是发现 数据开发的新范式 总体系统架构 关键技术 多云架构 存算分离 全托管 安全可信 多云存算分离 Warebase 一个虚拟化的计算集群由基于容器化的多个Units组成Units可以快速增减无需拷贝数据，新扩Units可立刻服务 Database 数据存储的逻辑单元数据存储在EBS，S3等云存储中多副本保证高可用性存储不够时系统会自动快速扩容新扩存储可立刻被所有数据库使用 存储格式 列存 行存 多种数据 半结构化数据 非结构化数据 通过Json/JsonB类型支持半结构化数据Json/JsonB列同一个路径允许有不同类型关系型数据和半结构化数据可存储在同一个表通过SQL /Jsonpath提供丰富的查询能力 高维向量文字/图像/音视频的嵌入向量关系型数据和向量数据可存储在同一个表通过SQL提供查询 丰富的索引 索引类型 索引特点 索引和主表保持事务型强一致支持并发创建（concurrently)支持表达式索引支持部分索引支持包含列 支持全局二级索引支持倒排索引支持Json索引支持向量索引支持位图索引 分层存储 无限扩展 Unit 2Unit 1Unit 3 水平扩展 只读实例 高性能多场景查询 分布式执行计划向量化执行引擎索引加速物化视图 高性能数据操作 交互式增删改 高性能分布式事务 支持完整ACID语意支持多语句事务支持对话式事务高吞吐低延迟 兼容PostgreSQL生态 驱动、框架、工具、文档、扩展 负载均衡 同一个业务软隔离 自适应 数据自动分片和均衡自适应建索引自适应编码策略一阶段事务查询自动选择存储格式和索引查询自动决定并发度 生成式AI加速企业私域数据智能化 检索增强生成- RAG OmniSearch Data Warebase挑战极限，让数据涌现智能