平台介绍
- 核心内容：该平台聚焦于城市数据的感知和处理，分为市级、区县级和网格员信息上报等多个层面。
- 关键数据：北京市IoT平台涵盖了土壤、水质、空气质量和交通等领域的数据。
技术核心
- 技术架构：离线(准实时)同步架构，利用HDFS、FTP、关系型数据库、时空数据库、MINIO等多种组件实现数据同步。
- 痛点：
- 痛点1：多源异构数据。
- 痛点2：大数据量的增量同步（准实时）。
- 策略：
- 策略1：根据调度周期和调起时间计算，每次同步一个周期的数据。
- 策略2：增量时间不耦合调度周期，保存增量字段的值。
- 策略3：每次同步之前查询源表增量字段最大值。
- 策略4：准实时同步API拉取架构，通过HTTP请求获取数据并落盘。
应用场景
- 主动群体感知：按部门、分区域、逐级汇聚、分别接入市一级平台。
- 被动群体感知/移动感知：按行业统一平台汇聚接入。
- 雪亮工程平台：公安局和城管局分平台，以摄像头为核心的固定感知。
- IOT数据：以IoT设备为核心的固定感知，按地理空间汇聚接入。
- 综合平台：如大兴区、朝阳区的综合治理分平台。
关键数据
- 数据来源：公交平台、地铁公司、网约车平台、出租车平台等。
- 数据类型：土壤、水质、空气质量、交通等。
总结
该平台致力于构建城市统一感知体系，通过多种技术手段实现数据的高效采集和处理。主要关注点在于解决多源异构数据和大数据量的增量同步问题，并提供了四种数据同步策略来应对不同的场景需求。平台的应用场景广泛，涵盖了交通、环境、治安等多个领域。
