Kyuubi - 无服务器 Spark At N

Kyuubi: （第1期） 无服务器Spark在网易 KentYao 关于我 •KENTYAO •S软件ENGINEERATNETEASE •M围绕BIGDATA平台APACHESPARK •KYUUBI项目 •APACHESPARKCOMMITTER •SPARKSQL •S驻车开启KUBERNETES/YARN •APACHES乌波林COMMITTER •GITHUB：雅琴 AGENDA KYUUBI BUILDSERVERLESSS公园与KYUUBI W帽子 W母鸡 WHO WHY HOW CASES图迪 MIGRATEHIVETOSPARK S驻车开启YARN至KUBERNETES BRIEFH历史KYUUBI 2018 打开源 在网易开发 Spark的多租户支持主要为BI设计 有点哈克！ 2020 1.x新设计 面向未来 所有工作负载:ETL、BI带来更多贡献者 2019 0.xEOL 拱门的局限性 Spark关闭了“后门” 2021 Apache孵化器 2021-05-31[讨论] 2020-06-14[投票] 2020-06-21[接受]？ W帽子是KYUUBI Kyuubi是一款分布式多租户ThriftJDBC/ODBC服务器，用于大规模数据管理，处理和分析，构建在ApacheSpark之上，旨在支持更多引擎（即Flink） BUILDSERVERLESSS公园与KYUUBI W帽子-S公园作为服务 LOW MEdium(EMR-喜欢) HIGH(K)YUUBI) W母鸡 WHO WHY HOW BUILDSERVERLESSS公园与KYUUBI W帽子-S公园作为服务 W母鸡-SPARK3.0稍后 ADAPTIVEQUERYEXECUTION SPARKONKUBERNETESGA（3.1） BETTERDATALAKE支持 WHO WHY HOW BUILDSERVERLESSS公园与KYUUBI W帽子-S公园作为服务 W母鸡-SPARK3.0稍后 WHO ADMINSTRATORS END-用户 WHY HOW BUILDSERVERLESSS公园与KYUUBI W帽子-S公园作为服务 W母鸡-SPARK3.0稍后 WHO WHY EASIER CHEAPER HOW S公园应用非常困难 FOR END-用户 TO DEVELOP CONFIG DIAGNOSE DUETO D分布式SYSTEMS COMPLEXINFRA/外部依赖 A完美的地方让虫子陷入困境 HIVE惯性是抵抗SPARK FOR ADMINSTRATORS TO UPGRADE OPTIMIZE ENSUREDATASECURITY DUETO CLIENTC可能性 K现在没有关于用户代码 MISSINGAUTHN&AUTHZ BUILDSERVERLESSS公园与KYUUBI W帽子-S公园作为服务 W母鸡-SPARK3.0稍后 WHO WHY HOW AS推动和OLD-学校API A可靠的服务器层 APRE-已计划&可扩展查询发动机 ELATICITY-DYNAMICRESOURCEALLOCATION 自主-ADAPTIVEQUERYEXECUTION T他ARCHITECTUREOFKYUUBI KYUUBISERVER–分布式&轻量级 HIGH可用性 HIGHCONCURRENCY AUTHENTICATION OUT-OF-THE-BOX KYUUBIENGINE–PRE-已计划&可扩展 FULLSPARKSQL功能 R联合国任何地方(K8S/纱线…,HDFS/云存储…) N电子战类型的发动机(S)CALA/FLINK…) SERVICEDISCOVERY SERVERSPACE-共享给所有客户 ENGINESPACE–由租户隔离 KYUUBIENGINES D不同的发动机生命周期 I按租户或连接方式固定 KYUUBIAQEPLUS DYNAMICALYCOALESCESHUFFLEPARTITIONS DYNAMICALYHANDLESKEWJOINS DYNAMICALYS巫婆JOINSTRATEGIESAUTOMATICALLYMERGESMALLFILES P带有小输入的管线 INCREASEHANDLINGSKEWJOINPOSSIBILITIES SHUFFLES标签.长度== STAGELEVELCONFIGISOLATION T他FINALSTAGE CASES图迪-MIGRATINGHIVETOSPARK ONLYF电子战SQL兼容性 OVER45%CPU成本降低 OVER80%时间成本降低 CASES图迪-MIGRATINGS公园从纱线TOK8S SMOOTH 零-DOWNTIME CO-存在S公园和其他工作负载 LEGACY存储系统 CO-存在纱线ANDKUBERNETES PROMOTE ROLLBACK CASES图迪-MIGRATINGS公园从纱线TOK8S PERFORMANCEREGRESSIONROLLbackto纱线 FIXED和P动车组 CASES图迪-MIGRATINGS公园从纱线TOK8S ISSUESOFDOWN-SCALING NOEXTERNALSHUFFLESERVICE ONLYSHUFFLETRACKING INTRODUCEREMOTE/EXTERNALSHUFFLESERVICE JOINUS 微信群为Apache孵化器投票Kyuubi Github回购 THANKS 合作伙伴：