MySQL ： 用 HeatWave 加速 MySQL 数据库外的交易数据的统计分析和机器学习(英文版)

MySQL和HeatWave峰会2024 使用HeatWave对MySQL数据库以外的事务数据进行分析和机器学习的100x加速 MandyPang高级首席产品经理MySQLHeatWave 议程 •MySQLHeatWave概述 •用例 版权所有©2024，Oracle和/或其附属公司。保留所有权利。 MySQLHeatWave概述 在一个服务中跨数据仓库和数据湖的事务、实时分析、机器学习和GenAI MySQL 存储 社交，电子商务，物联网，游戏，金融科技应用。分析和机器学习工具 数据源 MySQLHeatWave OLTP 分析 数据库中ML MySQL自动驾驶 矢量存储* GenAI* 查询Results 企业 Apps 网络/社交IoT 对象存储 对于非MySQL和MySQL工作负载 日志文件 Streamingdata Database出口 Database出口 *即将推出 数据仓库在行业中的最佳性能 了解更快的时间=业务对市场策略的反应更快 120 100 80 平均执行时间(秒) 4.2X TPC-H10TB 5.6X 7.4X 3.3X 60 40 热波 20 0 热波 (10个节点) Redshift (10*ra3.4xlarge) 雪花 (X-Large) GoogleBigQuery(800个插槽) Databricks(大) *基准查询源自TPC-H基准，但结果不可与公布的TPC-H基准结果进行比较，因为这些结果不符合TPC-H规范。*3月2023年结果 数据仓库的行业成本最低 10TBTPC-H的价格性能比较 性能($)-价格 1 0.9 0.8 0.7 0.6 61X 0.5 0.4 0.3 0.2 0.1 0 23X 热波 27X27X •上面只考虑了计算成本 热波 (10个节点) Redshift (10*ra3.4xlarge) 雪花 (X-Large) GoogleBigQuery(800个插槽) Databricks(大) •Redshift的定价基于1年预留实例，预付费用。雪花基于标准版 • GoogleBigQuery的定价基于每月固定费率承诺。Databricks基于1年保留定价 *基准查询源自TPC-H基准，但结果不可与公布的TPC-H基准结果进行比较，因为这些结果不符合TPC-H规范。*2022年9月的结果 HeatWaveAutoML：数据库中的机器学习 预处理 算法自适应 选择取样 超参数优化 模型解释器 预测解释者 已调谐模型 模型模型模型 培训推理解释 •消除繁琐和费力的步骤 •适用于初学者或高级ML用户的简单易用界面 数据库中ML 热波 •自动选择算法并调整它 •可解释的模型行为和预测 InnoDB热波 AWSRedshift 出口出口 MySQL 出口 •快速训练允许快速迭代以实现期望的结果 HeatWaveAutoML用例 异常检测 检测供应品中的异常情况预测装配线堵塞 分类 玩家流失预测对保修索赔进行分类 识别游戏黑客 预测何时会发生故障IoT数字孪生故障预测 预测空气污染广告支出回报预测利用率需求预测 识别相似用户 向观众推荐电影建议替代产品推荐新产品 推荐系统 贷款违约预测 需求预测预测航班延误贷款金额预测降雨金额预测 回归 时间预测 使用HeatWaveAutoML的行业和用例 Education HIPPA合规性预测学生成功监控学生行为 电子商务 用户视频彩票建议 产品追加销售 数字营销服务 每次收购的成本错误的质押分录 有针对性的活动客户分类 预测未来损失预测价格弹性 FinTech Manufacturing 贷款违约预测 检测耗材中的异常情况 物联网 机场票务雨水位空气污染 游戏 玩家流失检测调整游戏难度识别游戏黑客 确定贷款展期 贷款审批 使用HeatWave的机器学习速度快，经济高效，准确且可滚动 25x 比Redshift快 1% Redshift的成本 客户 MySQL工作负载的成功案例 针对本地MySQL数据库轻松运行分析/ML 没有其他云供应商提供此功能 Estuda.com实现实时洞察 MySQLHeatWave在无需代码更改的情况下将复杂查询性能提高了300倍，响应时间缩短至秒级，并且成本仅占GoogleBigQuery的85%。现在我们能够更好地为多达3百万用户的实时分析提供服务，并持续改进应用以提升学生表现。 业务挑战： 巴西领先的教育科技公司服务于超过500所K-12学校的逾800万名学生 ，以提升学生表现。该公司需要一个数据平台，通过减少从AWSRDS到GoogleBigQuery传输数据时的ETL复杂性和成本，来提供实时洞察 ，以支持每月300万用户的数据规模。 结果:: 300倍更快的性能通过从BigQuery迁移到MySQLHeatWave实现，无需代码更改且具有低延迟。85%的成本降低通过消除ETL过程和按使用量付费的消费模式实现。实时分析加快了开发速度，提高应用程序的易用性和采用率。查询能够扩展到任何数据规模，以增加灵活性并促进更多学生的受益。 VitorFreitas CTO,Estuda.com 使用的产品: MySQLHeatWave 阅读故事 版权所有©2024，Oracle和/或其附属公司 Fintech公司(来自AWS的MySQL混合工作负载) 从PerconaMySQL复制到MySQLHeatWave进行分析 Company：领先的NBFC，每天处理30K 解决方案: 贷款，贷款票大小为5K至500K，在印度提供28000个pin码。 用例：应用程序和数据库托管在AWS环境上。它们使用多个从AWSEC2实例运行的PerconaMySQL实例，并通过读副本实现不同业务场景下的报告和数据共享。 : 挑战整合来自多个MySQL部署的数据，以实现报告的高查询性能(总共30TB数据) 1.混合解决方案-通过将多个PerconaMySQL部署复制到单个MySQLHeatWave进行数据整合 客户选择了MySQLHeatWave： 1.845X更好的查询性能 2.不需要ETL工具从MySQL数据库移动数据 3.实时洞察以更好地分析和理解客户行为，从而不断改进其应用并实现快速开发。 4.降低TCO；与AWS成本相比 5.使用MySQL的原生分析功能 6.增强数据安全性并确保法规遵从性(MySQLEE和OCI安全性) 电子书公司(MySQL工作负载->ETL->Teradat ) 从Teradata迁移✁数据仓库，现已扩展为使用HeatWaveLakehouse Company：在日本提供电子书服务和游戏服务，拥有3500万(占日本人口✁30％)独立活跃用户 。 用例：对于他们✁电子书业务， 1.适用于OTLP✁MySQL企业版 2.Teradata作为数据仓库(10TB数据) 挑战:他们开始迁移到GoogleBigQuery 客户选择了MySQLHeatWave： 1.他们已经熟悉MySQL 2.支持MySQL✁应用程序和现有工具没有变化 3.通过MySQL复制提供实时数据分析，无需使用ETL工具 4.高查询性能。MySQL中✁“永无止境✁查询”只需几秒钟即可运行 5.可预测✁定价模型-与GoogleBigQuery相比(他们使用按需定价) 解决方案: 1.混合解决方案-将数据从本地MySQL复制到MySQLHeatWave以实现数据仓库Looker 2.作为BI工具 为非MySQL工作负载轻松运行分析/ML 物流公司(非MySQL工作负载) MySQLHeatWave用于快速仪表板/✲告以及用于OLTP✁ATP Company：全球供应链服务，以帮助在关键市场实现可持续✁贸易和商业 用例内部和外部利益相关者通过运行于本地Oracle数据库上✁“可见性和✲告”应用程序，跟踪和追踪货物运输及业务决策✲告。 数据大小: 1.总数据约3TB，仪表板数据1TB(1-2年) 2.~2GB/天数据增长 3.并发用户~200 解决方案: 挑战:应用程序是一个数据处理和集成导向✁平台。随着数据量✁增长，SQL查询耗时变长，用户体验到性能变慢。 1.使用GoldenGate复制本地Oracle数据库✁数据，并使用ATP进行OLTPMySQL✁数据✲ 2.告和交互式仪表盘。 3. 客户期待：通过多个数据存储(约5-6个事务数据库源)实现VNR应用程序✁可扩展性和具有交互式仪表板✁近实时数据用于可见性和✲告 Results: 1.比内部部署快3,000X HeatWaveAutoML-客户动力 ML活动减少50% 减 15-25%性能 Improvement 使用自动 vascri 改 技术.整合 无缝扩展关系 在 模型以✯持OL 公 AP/ML/AI工 负载，减 护和部 技 用例: 1. 预配置✁过程和工 表格和手动工作 高可见性和数 能够关联 灵活✁ 有 解决 案: 利 利用ML/GenAI✁软件公司 印度大银行 金融服务 印度领先✁私营银行提供在线网银服务及个人银行业务，包括账户与存款、银行卡、贷款等。 用例 •识别追加销售机会•检测欺诈性帐户 型号类型 •异常检测，生成AI Results •一项专利算法解决了各种类型✁异常问题，实现了有效✁多层欺诈检测。 •数据库开发人员能够在无需机器学习专业知识✁情况下构建模型。 •能够每秒创建数千个预测，以满足银行所需✁高吞吐量要求。 OracleCloudWorld版权所有©2024，Oracle和/或其关联公司 EatEasy 食品交付 基于迪拜✁在线聚合平台，将成千上万✁用户与其喜爱✁餐厅连接起来，使在线点餐更加便捷、可靠和方便。 用例 •预测食物递送时间•基于过去✁动作建议食物/餐厅•总结所选餐厅✁菜单。 型号类型 •回归、推荐、生成AI Results •在几天内开发了原本需要几个月才能完成✁机器学习模型 •数据库开发人员能够在没有机器学习专业知识✁情况下构建这些模型 •简化了基础设施，无需管理复杂✁ETL，且一个平台提供了联机事务处理、分析、机器学习和通用人工智能功能 •各种类型✁机器学习模型具有一致✁界面，简化了EatEasy开发团队✁学习过程 OracleCloudWorld版权所有©2024，Oracle和/或其关联公司