物联网设备元数据存储引擎选型与演进
业务场景介绍
- 场景概述：统一设备元数据管理平台旨在集中管理物流车、无人贩售机等设备的各类元数据，包括设备ID、类型、状态、位置等信息。该平台需要支持设备的多类型接入、海量设备管理、并发更新以及高效检索和圈选功能，以应对业务场景的动态变化。
存储架构演进
- 第一代架构：适用于设备数量较少、终端类型单一的情况，采用单库MySQL，支持基本的读写操作。
- 业务增长：随着设备数量增加至亿级别，终端类型增多，以及对高并发读写的需求提升，引入了分库分表策略，以MySQL为基础，配合ElasticSearch用于复杂查询，增强系统扩展性和查询性能。
存储引擎对比
- HBase：分布式存储，支持数据范围查询，适合大规模数据存储和复杂查询。
- MySQL：关系型数据库，提供SQL查询支持，但扩展性和查询性能受限。
- ElasticSearch：全文检索引擎，支持全文索引和复杂查询，但非存储计算分离。
自研新存储引擎
- 需求：面对海量设备数据、高频更新、复杂检索分析需求。
- 架构设计：采用分布式存储系统，存储计算分离，利用LSM结构和复合索引，支持快速查询和数据扩展。
- 关键技术：包括分布式架构、LSM存储引擎、自动分区扩展、多元索引等。
架构优化与挑战
- 优化措施：通过分片、路由策略、并发优化等方式提高查询效率和吞吐量。
- 挑战：包括数据同步、更新能力、大促期间的弹性扩展等问题。
自研存储引擎应用
- 核心功能：支持复杂检索分析，提供高效的数据查询和分析能力。
- 应用场景：适用于需要处理大量设备数据、频繁更新和复杂查询的业务场景。
总结与展望
- 多介质分层存储：结合SSD、HDD、OSS等多种存储介质，优化数据访问效率。
- 分布式OLAP能力：基于现有SQL能力扩展分布式OLAP功能，提升数据分析效率。
- 成本与运维：减少存储与计算的成本，提供自动化分区管理和更完善的租户隔离能力，降低运维难度。
联系方式
此报告总结了物联网设备元数据存储从传统单库MySQL架构到多库分片及引入ElasticSearch的演进过程，最终导向自研存储引擎的设计与优化。通过对比不同存储引擎的特点，强调了自研存储引擎在满足海量设备管理、复杂检索分析需求方面的优势，并提出了解决当前架构挑战的具体优化措施。报告还展望了未来存储系统的多介质分层、分布式OLAP能力扩展等发展方向，并提供了联系方式，鼓励与团队进一步交流与合作。
