利用英特尔OAP和Optane技术加速大数据分析

网易数 网易数字+ 网易数字+大会 网易数字+大 网易数字+大会 2021网易数字+大会 网易数字+大会 网易数字+大会 网易数字+大会 利用英特尔OAP和Optane技术加速大数据分析 魏剑（Intel傲腾事业部TSS经理） +大会 网易数字+大会 数字+大会 网易数字+大会 字+大会 徐铖(Intel人工智能与数据分析事业部研发经理)英特尔亚太研发有限公司 + 数字 网易数 字 网易数字+大 NoticesandDisclaimers ©2018IntelCorporation.Intel,theIntellogo,3DXPoint,Optane,Xeon,Xeonlogos,andIntelOptanelogoaretrademarksofIntelCorporationintheU.S.and/orothercountries.Allproducts,computersystems,dates,andfiguresspecifiedarepreliminarybasedoncurrentexpectations,andaresubjecttochangewithoutnotice. Nocomputersystemcanbeabsolutelysecure.Checkwithyoursystemmanufacturerorretailerorlearnmoreatintel.com. 网易数字+ 网易数字 ThecostreductionscenariosdescribedareintendedtoenableyoutogetabetterunderstandingofhowthepurchaseofagivenIntelbasedproduct,combinedwithanumberofsituation-specificvariables,mightaffectfuturecostsandsavings.Circumstanceswillvaryandtheremaybeunaccounted-forcostsrelatedtotheuseanddeploymentofagivenproduct.Nothinginthisdocumentshouldbeinterpretedaseitherapromiseoforcontractforagivenlevelofcostsorcostreduction. Thebenchmarkresultsreportedabovemayneedtoberevisedasadditionaltestingisconducted.Theresultsdependonthespecificplatformconfigurationsandworkloadsutilizedinthetesting,andmaynotbeapplicabletoanyparticularuser’scomponents,computersystemorworkloads.Theresultsarenotnecessarilyrepresentativeofotherbenchmarksandotherbenchmarkresultsmayshowgreaterorlesserimpactfrommitigations. Resultshavebeenestimatedbasedontestsconductedonpre-productionsystems,andprovidedtoyouforinformationalpurposes.Anydifferencesinyoursystemhardware,softwareor 网易数字+大会 +大会 configurationmayaffectyouractualperformance.SoftwareandworkloadsusedinperformancetestsmayhavebeenoptimizedforperformanceonlyonIntelmicroprocessors. 网易数字+大会 Performanceresultsarebasedontestingasof03-14-2019andmaynotreflectallpubliclyavailablesecurityupdates.Seeconfigurationdisclosurefordetails.Noproductcanbeabsolutelysecure. Performancetests,suchasSYSmarkandMobileMark,aremeasuredusingspecificcomputersystems,components,software,operationsandfunctions.Anychangetoanyofthosefactorsmaycausetheresultstovary.Youshouldconsultotherinformationandperformanceteststoassistyouinfullyevaluatingyourcontemplatedpurchases,includingtheperformanceofthatproductwhencombinedwithotherproducts.Formoreinformationgotowww.intel.com/benchmarks. IntelprocessorsofthesameSKUmayvaryinfrequencyorpowerasaresultofnaturalvariabilityintheproductionprocess. 大会 SoftwareandworkloadsusedinperformancetestsmayhavebeenoptimizedforperformanceonlyonIntelmicroprocessors. 大会 网易数字 大会 OptimizationNotice:Intel'scompilersmayormaynotoptimizetothesamedegreefornon-IntelmicroprocessorsforoptimizationsthatarenotuniquetoIntelmicroprocessors.TheseoptimizationsincludeSSE2,SSE3,andSSSE3instructionsetsandotheroptimizations.Inteldoesnotguaranteetheavailability,functionality,oreffectivenessofanyoptimizationonmicroprocessorsnotmanufacturedbyIntel.Microprocessor-dependentoptimizationsinthisproductareintendedforusewithIntelmicroprocessors.CertainoptimizationsnotspecifictoIntelmicroarchitecturearereservedforIntelmicroprocessors.PleaserefertotheapplicableproductUserandReferenceGuidesformoreinformationregardingthespecificinstructionsetscoveredbythisnotice.NoticeRevision#20110804. 网易数字 Testsdocumentperformanceofcomponentsonaparticulartest,inspecificsystems.Differencesinhardware,software,orconfigurationwillaffectactualperformance.Consultothersourcesof informationtoevaluateperformanceasyouconsideryourpurchase.Formorecompleteinformationaboutperformanceandbenchmarkresults,visitwww.intel.com/benchmarks. *Othernamesandbrandsmaybeclaimedasthepropertyofothers. + 网易数 网易数字+大 议题 网易数字 大会 •OAP概述 •OAPAnalyticcache介绍 •OptanePMEM介绍 网易数字 •OAPAnalyticcache特性介绍 •NativeParquetReader + •缓存及其多种模式 网易数字+大会 +大会 •算子下放(Filter/Project/Aggregation) •后续工作 数字+大会 字 网易数字+大会 网易数 网易数字+ 网易数字+大 大会 OptimizedAnalyticsPackage(OAP)概述 网易数字 网易数字 OAP是Intel和相关社区维护的开源项目，旨在优化和扩展现有Spark的性能和功能。 网易数字+大会 +大会 大会 •Spark在多个方面都表现地性能卓越，但进一步提升现有的Spark性能还是存在着新的挑战： •现有的基于JVM的和基于row的计算引擎让Spark不能充分利用上Intel硬件的一些特性， 比如AVX/AVX512,GPU + •目前实现层面，比如内存管理，shuffle实现，都没有考虑到最新高级硬件比如OptanePMEM 网易数字+大会 网易数字 •批处理在很多时候还是不能满足高性能要求。 https://github.com/oap-project/ 数字+大会 字 网易数字+大会 网易数字+大会 + 网易数字+大会 网易数字+大会 网易数 网易数字+ 网易数字+ 网易数字+大 大会 网易数字 OptimizedAnalyticsPackage(OAP)组件 数字+大会 网易数字+大会 字 网易数字+大会 + 网易数 网易数字+大 OAPAnalyticCache概述 网易数字+ 网易数字+大会 •提供基于列存存储结构的高性能细粒度缓存。同时支持计算本地缓存和分离式缓存(独立于计算节点之外) •利用FSDAX（结合PMEM）跳过系统pagecache +大会 •Sharedmemory来支持单机zerocopy缓存数据共享 网易数字+大会 网易数字+大会 •支持算子的前置下推(比如Aggregation,Filter,Project等)，适配主流的计算引擎，如Spark和Flink + 网易数字+大会 •支持下一代硬件加速(如QAT,PMEM等) 数字+大会 字 网易数字+大会 Intel分层存储的架构设计 网易数字+大 性能层容量层 大会 DRAM Hottier DRAM +大会 Intel®Optane™persistentmemory Memory 网易数字+ 网易数字+大会 Storage IntelOptanepersistentmemory 网易数字 SSDstorage +大会 MemorybusPCIebus IntelOptaneSSD 网易数字+ 网易数字+大会 SSDstorage + 数字+大会 网易数 字+大会 IntelOptanetechnologycanhelpmemoryandstorage applications! 网易数字+大会 + 网易数字+大会 网易数 持久特性 原地擦写 字节寻址 低延迟 网易数字+大会 网易数字+大 网易数字+大会 英特尔®傲腾™技术的独特价值 + 网易数字+大会 网易数字+大会 网易数字+大会 网易数字+大会 TheBestMediaforMemoryandStora