金海- 新一代超融合数据库的技术挑战

新一代超融合数据库的技术挑战

数据库发展史

• 超融合数据库：结合了在线事务处理（OLTP）和在线分析处理（OLAP）的能力。

技术路线

• HTAP（混合事务和分析处理）：分为四种不同路线。
• 行存与列存：两种不同的存储布局方式。
• 为什么列存适用于OLTP：提高查询效率。
• LSM Tree与OLAP：讨论LSM树是否适合OLAP场景。
• MatrixOne存储布局：提出了一种新的存储布局方案。

存算分离

• 存算分离：OLTP和OLAP均采用存算分离架构，以提高性能。
• 分布式事务的定序问题：解决分布式事务中的顺序问题。
• 事务的隔离等级与一致性：讨论事务的一致性要求。

HTAP挑战

• 分布式事务的挑战：讨论HTAP中的分布式事务管理。
• Volcano vs MPP：比较两种不同的并行处理模式。

性能表现

• OnSSB测试：在未使用过滤、分区等优化手段的情况下，MatrixOne性能优于ClickHouse。
  • 单表查询：MatrixOne比ClickHouse快50%以上。
  • 多表join查询：整体性能优于ClickHouse。
  • 多对多查询：速度提升10-20倍。
• 0.2.0版本：发布于2022年1月，成为业界最快的SQL分析引擎。

发展规划

• MatrixOne HSTAP：高性能的HTAP解决方案。
• 性能基准：展示MatrixOne在不同查询场景下的性能表现。
• 未来规划：持续优化和扩展功能。

社区与招聘信息

• 加入MatrixOne社区：通过微信群、GitHub等渠道参与社区。
• 招聘信息：提供加入MatrixOne的机会。