2-6 梁敬彬 - 数智化时代打造超融合数据库

DAMS 中国数据智能管理峰会 MEWTSUNNI 超融合数据库申秘星球的七座城堡 滴讲人三，禁教控 梁彬，普任福富研究院副理事长，安信研究院副院长，宁德时代数据库 专家等职务。出版过收获，不上 Oracle3，收获，不止SoL优化等 畅销数据库书籍，新书超融合数据 库即将出版， Dracle t DAMS中国教量督研管理障会 超融合 新书超融合数据库（dheplus技术丛书）数据库 已入选国家十四五重点图书项目！ Database 本次分享为基于该书的童话故事， DAMS中国教密智范管理峰者 在神奇的数提库星球上，有一个快乐工国，某大，国家安全大臣老安携款外选，日王需惊，亲自调产，发现老安档案不见了，显然早右预课 由于资料分散，进展操境，等案计挂理清抢，相关人 员已送之天天， 同王认为高效的数据库系统。能理免类似串件发生。于是命科技大臣老柯打造一庄教据库成堡 目录 七座数据库城堡 城堡困境与应对 超融合数据城堡 DAMS中国政出配际管理峰备 OLTP城堡 很快，一座名为LTP战堡拨地而起，所有关键 部门工作人员的个人挡案，国家关键项目的工程信息，公民个人导份信息等，均误存在城遇内，国王温知后大喜，在落扣的赔下对球幸进行了检阅。 老打在国王百前决示了档案信息的查沟，一是 限，也的个人档案信息就展示出来 国王想起去挡案馆找安全大臣信息时的费劲程 度，叉高兴叉惊课 DAMS ?交易类操作 OLTP①访问表中少量记录 OLTP拆请求的响应速度一般很快 VS OLAP @OLAP ①分析类操作 ①访问表中大量记录 请求的响应速度一般较慢 DAMS中国教管研管理障务 ?表数据有序 只能有一种排序方式满足不了多样的需求 数据写入不一定有序 POLTP需要额外的排序开销 加速可建立多种排序方式 建辅助数据能满足多样化的需求 并让其有序只针对辅助数据排序 对表数据的影响较小 DAMS中国政出配际管理督会 关系型数据库✁ACID Atonirit子性 在一个事务单，所自送作要么个部战功， 要么个铁收，使原子一样态不可分， 数据件在事务开洁来，总据是持从套真✁排一划起，数费是固 Taraistenes-f 1. 定不变✁，如果有变化将前 核递中读限一时划✁效出， Isslatien隔离性通过指等方式书值保更新运作能有款进行，十不会相互下机 lurability格最帮害要本交保有，防止天失，事务宝提交订单后，订单书是印使在 : DAMS中国教产管管理峰务 OLAP城堡 不久之后，回王再次莅临OLTP域坚，格验一下域坚✁感果，也目肪着战坚内✁费忙量象。 开心地要科技大臣原性解样为问数托库放堡如此备受改迎，以及与上次检阅时相比有何变化. 快乐王国故据1.0时代与快乐王国故据 特点快乐于国数范1.0时代快乐千国意出2.0时代 信息抢用十要包括项日和部分人员表本信息装苦全国所有公民✁详印身价信息和斗特特证不完整，仅有部分人员✁汽案充整，含每个会民✁伴信息 有用，主应对与项日相美关✁查放和音更广泛，也品线上线下业务，安全核验等多个 Iah 较小，主计对留分人员和项日告息较人，前若身份信息片✁生中和核✁事务✁善 主提针时中个人员原日✁吉询OLTP 除了单个人贝是用外，这么括穿表复来辅在 HOLAPS 化化于段来引优化，多设极存，改写分向等吉要点对更复案✁以L企否前场最，可能品基王 DAMS中国政出配际管理督备 OLAP✁优化于 皖·383J rt(ColuaurBteruge) 北单 分史内存 至分利用多表HI。建大型在务✁技行 DAMS中国教量服好督理会 SIN0示 有A：[1.2.3.4]】B：[5.67.8]两组整组，目标是对他们执行元泰✁加法，得到新 传4获对标一量计相算，加✁意：分因次 (8)SealarOpertion A利用510井 行处18 ()SINDOpegSor A. (2联出AI1JRB,HG[-8 次性物效租B, 和中✁全活 联出[][2]，得[2] R出[3[3],得c[3]-12 11对应元素旧B, AB,如:=[c.B, 标量计算 810,12]. 向量计算 DAMS中国政出配际督理峰备 OLTP和OLAP✁部分差比较 OLTP（在实车务处印）OLAP（分处 长干行存其干到存 长作类型点否、更新为主（如：者前单个厚户信息，报表决查均，批量更新为土请问客个列，运回少星记录 CTU用率适应大量用户✁忽小任务，CFU负费分段 百向少载川户，们务教人，亲 分利CF并行处耳能力 图等技术 针引设小在务分配内存为复来乱办配是能多✁内荐，电引设化、执行计划证北、读写分离等儿行社理，刘存+生滑，物化义 DAMS中国款管配际量理督务 就✁✁孩心品孕，科存和到存之异是署，如何共存没想 好：再LIP请已内对用难，无活分配更多资源给口LAP任务，此外空问换时问后台族批，显然也会产生系统资 用么办 拍们再建一室A较军吧，在这生尽情✁使用列 存，压缩，向量化，并行，空问换时问等核术已 好，老柯，打OLP啦量✁工作就交给你了！ HTAP城堡 转限问，OLAP城坚如期计成，当听间 这库谣✁卓越成果后，好学✁国王兴奋不已，立即决定前往视密。在科技大臣✁ 陪同下，日王登上了OLAF域空✁量高处， 快乐王国数据2.0时代与快乐于国数据3.0时代 特点快乐主效据代快乐主国数据.叫代 公民✁旺一数享身✁任忘和生习持让在2.吨进上增加公民✁多居性信息， 计值实损更律用，有更复柔✁实场 ULIP和OLAP书安分明出佳合P和CLAP✁语 DAMS中国教出配好管理锋会 OLTP是行有，OLAP是刻存，达变易边分析✁HTAP可名点行划湿存， 比如先以行✁格式违行托入，每达到一定记录效再转成列✁格式存储，当然，也可名点同时存储行列两种格式， 听起来不错。 通常进交易边分析✁场景交易和分析要帮不算太高。还到极效LTP高求和提效LAP需求，们还呈要在原未✁划 量中进行✁。老朽，那在怎么卉，咱们 零✁一个HTAP暖望马？ 怕们OLTP和LAP城堡✁压力也已不小，随音快乐工国歌指 3.0时忙✁到来，实时分析✁场累不断增多，还是有必要理好。听你✁。由们下次 HTAPS,HTAP多!！ DAMS中国政定配际管理峰告 时序城堡 很快，HTAP战坚✁好了，国王在科技大臣 ✁陪同下受上了HTAP城✁量高处，看着并然有 序工作若✁三个城量，国王很是满赢，心里想者 取在不会有再进开名国群了电，于是头可科 技大臣：“老相，这座HTAP域堡✁成后，成效如 快乐王国✁数据时代 快示王区数报4.0时代 快乐王国数摄20附时代 快乐王国数遇3.0时代 拓展到万物属性集合 快承主国数摄1.0时代公民家届性合 全部公民好份信息正明你是怎样✁人！ 部分公民身份信见【证明你是你） （证明万物是忘样✁万物） 设各指标数 一播标数量务 高拓上传 影响时序数据✁三要素采撼✁频率异频上传（各拍标采集频率不同） 乱序上传【指摄上传先后顺序错乱】 采集设垒数设备多 设密有关联（嵌套关系） DAMS中国教出配好管理锋会 时序场量充评一定程度✁老特优10，对此获们可以基于KW模式违行分市式架将设计，能快速奕现及是 库✁打客，叉甚再✁一个时序数轻 牛恢堡？ 是✁，没办法。不过我也担心新减性✁K模式查询分析能力不足，缺乏事务等一系别问题会 成为未来新✁瓶系么办？ 关系型✁分布式能力一定能实✁，咱们先解决当下问题，快好随时回归关系型教轻库 模式✁注备吧，理解，去津卫， DAMS中国教出配好管理峰会 5.图城堡 科技大臣没有让国工失失望，时序效堡很快就让成了，接下来，根据别情经验来看，国王肯定会出现在时序反堡✁是高处，而且是在科技大臣✁陷同下检阅脚下✁新望和国处✁域望，然后各种询 问和整双， 没错，你全猪对了！只是这次和以往有所不同，增加了一个彩蛋，国王带着一个神移✁子来 请捷出这个有然人： 也并非日王和王子✁朋友，却是回至和至手共同朋支✁朋友：也和国王在同一位医生那里接受过治疗；他和回王✁取问在同一所学核读过书；他担任过五种不同✁工作岗信 DA儿S中#管配旺量理蜂 NaTCH(king:Person[nane*King*))[:FRIEND]>(cormod:Person)c[:FsIEN)]- //势有逐人与图三✁通问间在四一所学保受过费 NATCH(king)-[:$AS_WVIS03]->(sd1sor:Persen)[:STuSTE)_AT]→(scho1:Schoc1)-- :STUDIED_AT)(β //排路四王阳王于本身与有媒人之间✁变关系 W-EREKOT(k1ng)[:FSIEND)>(p)ANDMCT.(prti-ce)[:FRIEN)]>(p) 10wTTHP,COUNT(BTSTTHCT(p)[:R4ED_45)->(:3cb)1ASjob_count .2WHEREjpb_ceunt>5 //运互满足年有息件✁有谨人✁名事 faaru-dkntsy+T DAS中国政管配际管理峰务 图数好片以节点和边为核心构✁✁，节点忙代去实体比如人或事物，边则代表节点之问✁关系，这择查 询复杂关系载安得机可简单了， 支要再✁一个图效保？ 是✁，可以把相关✁效据同步到图效据床按望来，转化成固数据片指式，就可以找到有据人了。将来还有望通过分折各种关联关采，到老家团伙， 医，打，速速✁文！ DAS中国政社配际督理峰备 5GIS城堡 就在国王万分期待之时，却等来了 坏消息，因为有器人所在之地不仅情远而且地形复来，导致商务大臣一行险监违了路，最后无功而返. DAMSE 皖3· (oint) 医量款贴✁✁实宝及✁川示 由书两个或多个者信息（点连质✁一到路经，表示付拍 (Line) 地理表， Ti(Fn)由三个成事个点技前中注特自总✁利区报，表示压民性✁ 道陷，过界等 定文 示划 文精卖 美了地性要索✁持理性信息 名称，地，美座，虾绿妇，路口名等 关了地理更态✁定量情息 道路长度，让抗高度，人山教量等 括刊用英皇（任宅，自北，「业等），行收区 口扫和时间类关干科要需或相关事产✁发牛时注培口判，小针时间同等 摄栏效据（HasterData）在不同应用场最下✁描还和具体示例 持让示时 表示，每个像需包含改自收亮理等国性。 置✁表高度风求等 士果美草图 用册格效期表示不同电区✁十填种美和分有，每个修索对户一中电理益置及其与✁十填头型 包招，降求，国✁享与地费产相美✁气卡 农业提划、环晚保节等， 气象数梦息，采月格大存陷，每做至含对点区城内✁气单 大气原技，气能变化斯究节 亨气实量图 用册格效期表示不同电区✁空气行热共况，每十像索直见了解空气且分布，为计保 包含对向区域内✁行热✁表度， DAMS中国政出配际督理峰备 现们可多名时序教起库效本变✁果构，用车于账✁接式来实现，将点，战，面✁效损通过一定✁转换存计成 ✁值，有了先前经临，再✁一个诚择✁效率会很高✁， 这.·.·. 不过✁81S放录库域壁也只是权宜之计，毕竞关去 了关系型款基库✁而大分析能力，很是不识 只是最下比较着看急购，先✁好15数巧比效型. 技到有络人要然！ DAS中国款范配柜量理务 机器学习城堡 在国王✁期盼中，日S效起库城如期✁成 了，随者日S效好采售录入工件✁完皮和导航应 用程序✁完盖，商务大臣一行再次出发，修于找到了有人，有晚人助余人前往图数按库效堡，参加王子✁婚礼 不料，婚宴即将开始时，有辑人却退退末落面。原来出现了追拥培事件，众人都被围 在路上..... DAMS中国教产团好管理峰会 交通系统存在✁特点 黑实时生登灾界育 交逆数据✁来源 实交酒政起天气欧招GS电理信票数控 质史交通敢递社会经济染据 DAMS中国款管配际量理督会 交通系统数据来源与功能 存结具有时序列特证✁实时安通载期，如车情款量即时间委 1.、年PS等设 天气载出时序数光序 用于效计分✁和报表生吸注去✁交道依品，更故记录宁空组效改府数出湿，交通