5-4 Apache Spark 在自助分析系统的应用实践与优化

APACHE SPARK 在观远自助分析系统的应用实践

观远自助分析产品简介

• 交互式查询：多种图表，灵活拖拽，秒级响应
• 数据处理（Smart ETL）：零门槛，多数据源融合，复杂任务处理

观远自助分析系统的挑战

• 灵活的部署方式与系统架构：SaaS、私有化、云平台、容器化、组件化
• 稳定高效的计算服务：大规模集群，复杂的离线任务，活跃的社区，秒级响应，高并发
• 灵活的资源调度与隔离：统一任务分配层，查询引擎与离线引擎分离
• 优秀的查询体验：复杂查询，高并发，多种架构
• 强大的数据处理能力：稳定性，系统吞吐量

相关解决方案

• 灵活的部署方式：基于Docker、Kubernetes容器化部署方案，无缝接入CDH等大数据平台，存算分离，支持NAS、S3、HDFS、Azure ADLS等多种存储
• 灵活的资源调度与隔离：使用JSON格式定义分配规则，通过Job Control Tower、Yarn / Spark Standalone管理
• 稳定高效的计算服务：提高常驻Spark Application稳定性，多Application、异常任务监控、Engine探活及重启机制
• 优秀的查询体验：任务分离，引擎的水平扩展，基于Spark Metric动态判断任务执行资源消耗
• 强大的数据处理能力：管控机制：节点数、运行时长限制，生成Spark SQL友好的查询语句，拆分缓存，减少alias，减少withColumn调用

总结与未来展望

• 支持私有化部署：支持华为云、阿里云、腾讯云、微软云等国内主流云平台，支持CDH等基于Hadoop的大数据平台
• 支持大规模集群：从单机（8c64g）到最多近2万核的超大集群
• 单系统近3万月活用户，查询性能9分位保持在3s内
• 单日30万+Spark任务处理
• 回馈开源社区：贡献Spark、Delta Lake等项目
• 未来展望：更加云原生，融合多种引擎（Databricks、ClickHouse等）

提问环节

• 非常感谢您的观看