企业实时数据服务平台建设最佳实践
1 目录 1. 𝑁2 2� 1.数据连接类型对象:Connector,针对平台支持的数据源进行查询 2.数据连接对象:Connection,可创建任意平台支持的数据源3.数据源:Source,定义一些具有特定结构的数据来源,由特性的Connection与其下层结构描述组成4.核心对象Pipeline,定义一个计算过程,可以执行多种无状态数据处理,有状态数据复制,多流JOIN,多表合并,聚合计算等数据处理,使用形式类似:p.read_from(source).filter("time>2022-03-05").join(p2).writeTo(data_lake);5.Job,Pipeline的运行态,可进行启动,停止,监控等多种运维操作6.DataCheck,辅助过程,在1:1数据复制过程中,可实时增量检测源与目标是否一致7.DataTrace,辅助过程,可检测某个特定的数据模型的前向数据血缘与后向数据引用8.API,数据操作,可将某个特定的数据结构发布为HTTPCURD接口,并且与数据连接类型无关 1.######################################################### 3.2022年3月5日星期六23时28分06 秒CSTWelcometoLiveDataPlatformShell,EnjoyYourDataTrip! 5.[1]login-sserver-aaccess_token#通过token登录系统 7.######################################################### 9.[2]showdbs#列出数据源 11.1.custom,Mongodb,_idis:xxx 13.[3]usecustom#使用数据源 15. 17.0.xxx,_idis:xxx 19. 21.[ 23. "b":"number", 25.] 27.[6]previewxxx#预览表 29.1.["a":"xxx","b":100,"c":"2021-10-2213:04:00"] 31.######################################################### 33.1.xxx,running,fullsync 35. 37.running 39.>stopjobxxx 38. 36.>statusjobxxx 34.2.yyy,stopped,full+incsync 32.[7]showjobs#列出全部运行的任务 30. 28.0.["a":"xxx","b":100,"c":"2021-10-2213:04:00"] 26. "c":"data" 24. "a":"string", 22. 20.[5]descxxx#描述表 18.1.yyy,_idis:xxx 16.[4]showtables#列出表 14.databaseswitchtocustom 12. 10.0.user,Mysql,_idis:xxx 8. 6.Loginsuccess!Youareadminnow. 4. 2.bashiShell.sh#启动交互工具 40.jobxxxstopped41.42.>descjxxx43.#########################################################44.>usecustom#使用数据源45.databaseswitchtocustom46.47.>source=Source("db.table")48.sourcefordb.tablecreated49.50.>source.cache()51.cachefordb.tablerunning...52.53.>source.preview()54.0.["a":"xxx","b":100,"c":"2021-10-2213:04:00"]55.1.["a":"xxx","b":100,"c":"2021-10-2213:04:00"]56.57.>source.publish()58.APIfordb.tablepublished,documentautogenerate,urlis:"xxx",pl easevisitfortest 59.#########################################################60.>source=Source("db.table")61.sourcefordb.tablecreated62.63.>source.from()#分析模型来源64.>source.to()#分析模型使用 SAPHANA
