Apache Doris在任子行的应用实践

背景介绍

任子行网络技术股份有限公司是国内网络安全行业领军企业，业务涵盖网络安全、公共安全等多个领域。公司早期业务架构采用扁平化的ETL明细数据模式，存在数据分散、无法共享、离线分析难度大等问题。

架构演进

1. 技术选型：对比Hadoop生态、Elasticsearch等技术，任子行选择Apache Doris作为数据平台，主要基于以下优势：

   • 支持数据分层处理（明细、聚合、唯一键模型）
   • 高吞吐写入能力（支持多种导入方式）
   • 一站式分析能力（联邦查询、高并发查询）
   • 出色的计算能力（多维分析、聚合查询）
   • 高易用性（MySQL兼容SQL、简易架构）

2. 数仓架构演进：构建了包含ODS、DWS、ADS三层的数仓架构，通过Open API实现数据采集、调度和即席查询，支持与Flink、MySQL、HBase等数据源交互。

3. 存储规模：当前总数据规模达245TB，单日新增峰值1.5TB。

企业实践

1. 数据建模：

   • ODS层采用Duplicate Key模型存储原始数据
   • DWS层根据数据特性选择Unique Key或Aggregate Key模型
   • ADS层采用Duplicate Key模型供应用层使用

2. 写入吞吐优化：通过调整分区策略（按处理时间分区），写入吞吐显著提升，compaction core维持在100+，CPU负载恢复正常。

3. 数据更新问题：针对社交用户数据的多渠道、多字段差异问题，通过DWS层的数据去重与合并机制解决。

4. 离线迁移：

   • 使用DataX工具完成Elasticsearch（15亿账号数据）和HBase到Doris的迁移
   • 支持Routine Load、Broker Load等多种导入方式

总结规划

1. 降本增效：

   • 存储成本降低61%-76%，社交帖文数据场景下降低76.7%
   • 相同规模数据下，Doris存储成本仅为Elasticsearch的23.3%

2. 高效导数：

   • 导数流程从1天缩短至0.5天
   • 支持实时查看明细数据、即席查询、自助BI和API开发

3. 统一分析平台：

   • 实现数据汇聚集中处理
   • 支持SQL驱动的BI报表、数据大屏和自助API

4. 高效计算：

   • 社交关系计算时间从2小时缩短至10分钟
   • 支持高并发点查场景

5. 未来规划：

   • 优化TEXT/JSON类型存储压缩
   • 替换JSON函数查询
   • 接入日志分析业务
   • 引入VARIANT类型
   • 迁移HBase点查业务