利用热波生成人工智能和矢量存储构建新的应用程序（英文版）

使用HeatWaveGenAI和VectorStore构建新应用程序 NipunAgarwal MySQLHeatWave高级副总裁 1版权所有©2024，Oracle和/或其附属公司 MySQLHeatWave LAKEHOUSE，实时分析，机器学习，单一数据库服务中的事务处理 社交、电子商务、物联网、游戏、金融科技应用。分析和机器学习工具 查询 Results MySQLHeatWav eMyS热Q波LHeatWave OLTP OLTP 分析 数据库中ML OLTP 分析 分析 数据库中ML 自动驾驶 数据库中ML 自动驾驶 自动驾驶 MySQL存储 Database出口 对象存储 数据源 企业 Apps 网络/社交 IoT 日志文件 流式数据 Database出口 从16GB扩展到512TB ProcessALL使用MySQLHeatWave的工作负载 2版权所有©2024，Oracle和/或其附属公司 HeatWave生成AI和矢量存储 1.矢量存储 2.向量处理 MySQL存储 3.生成AI Database出口 对象存储 4.HeatWave聊天 MMySyQSQLLHHeaetaWtWavaeve 热波 OLTP OLTP 分析 数据库中ML OLTP 分析 分析 数据库中ML 数据库中ML GenAI GenAI GenAI 矢量存储 （矢私量人预存览储) （矢私量人预存览储) 版权所有©2024，Oracle和/或其版权所有©2024，Oracle和/或其关联公司 HeatWave中的生成式AI实现了新的用例 内容生成&总结 检索增强 Generation + 自然语言 相互作用 •从企业文档中生成洞察 •从PDF操作手册生成博客 •对日志进行总结以进行根本原因分析 •搜索公共和私营企业数据 •在矢量存储中搜索非结构化数据 •与专有的非结构化数据进行自然语言交互•个性化内容检索并以自然语言响应 Usecase1：预测性维护 内容生成/摘要 报告生成：HWAutoML+异常日志摘要 异常检测 连续摄取 非结构化 发电机 报告文本日志 HeatWaveAutoML无监督异常检测 检测异常日志序列 生成突发事件摘要 热波生成AI 增强 提示LLM 总结事件日志序列 以自然语言为操作员生成事件报告 5版权所有©2024，Oracle和/或其附属公司 Usecase1：预测性维护 内容生成/汇总 报告生成：异常日志摘要 提出问题(“以下日志集合中的主要问题是什么。提供两句话摘要。”) 在这组日志中主要的问题是某个特定进程（ID为8145）的内存使用量持续超过定义的内存阈值。这个问题在日志中反复出现，当该进程超过内存阈值时，会向主线程发送SIGTERM信号以终止进程。您是否还需要关于这组日志的其他帮助？ 版权所有©2024，Oracle和/或其附属公司版权所有©2024，Oracle和/或其附属公司 Usecase2：财务欺诈检测 内容生成/汇总 DAT_TXN 3/31/12 COD_CC_BRN_TXN 160 COD_USERNO 0 CTR_BATCH_NO 0 REF_SYS_TR_AUD_NO 0 REF_SUB_SEQ_NOCOD_ACCT_NOTXT_TX 1601000010862结转余额 N_DESC DAT_VALUE 3/31/12 REF_CHQ_NOCOD_DRCR C COD_TXN_MNEMONIC 5010 COD_TXN_LITERAL PBC AMT_TXN 0 FLG_PASBKUPD N RAT_CCY 1 COD_MSG_TYP 200 COD_PROC 251000 CTR_UPDAT_SRLNODAT_POST 3/31/12 AMT_TXN_TCY 0 COD_TXN_CCYRAT_CONV_TCLCY 1 COD_SCCOD_AUTH_IDREF_CARD_NOREF_TXN_NOREF_USR_NOTXT_ADDL_INFO 1 DAT_TS_TXN_INIT 2015/02/1815:38:58 DAT_TS_SENT_FOR_AUTH 2015/02/1815:38:58 DAT_TS_AUTH 2015/02/1815:38:58 DAT_TS_SUB_FOR_PROCE SSING2015/02/1815:38:58 DAT_TS_SENT_TO_HOST 2015/02/1815:38:58 DAT_TS_HOST_PROCESSIN G2015/02/1815:38:58 COD_ENTITY_VPD 240 提供✁银行交易信息表明 交易记录至 在2012年3月31日，上一会计期间✁余额被记入当前会计期间。与此交易相关✁账户编号为1601000010862，交易金额为零。表示该交易是否已成功处理✁标志被设置为N，这意味着交易未成功 。交易✁货币代码为1，消息类型为200，表明这是一个错误消息。处理代码为251000，可能指示 自然语言描述 与该交易相关✁特定错误或问题。交易已发送至主机进行处理，但尚未处理完毕。与此交易关联 ✁实体VPD为240。该交易存在几方面可疑之处，需要进一步调查。首先，交易金额为零这一事实引发了对该交易目✁和有效性✁疑问。其次，表明交易未成功✁标志提示可能存在交易处理或 授权方面✁问题。 SET@context=(选择txt_descriptionFROMSET@query=提供✁是一条银行交易信息，字段名称和字段值之间用`\n\n`分隔。请提供这条银行交易✁简要总结。关于这笔交易，有哪些可疑之处？面向对象是银行职员。; 选择sys.ML_GENERATE(@query,JSON_OBJECT("context",@context)); 7版权所有©2024，Oracle和/或其附属公司 热波open_transactionWHEREtxt_id=mule_txt_id); InnoDB热波 LLM Usecase3：在线交付✁个性化 检索增强生成 个性化菜单：HWAutoML+检索增强生成 在线食品交货 根据用户偏好推荐、检索和生成菜肴描述 “豆腐咖喱” ：“豌豆咖喱” 餐厅 menu 8版权所有©2024，Oracle和/或其附属公司 Usecase3：在线交付✁个性化 检索增强生成 版权所有©2024，Oracle和/或其版权所有©2024，Oracle和/或其关联公司 版权所有©2024，Oracle和/或其关联公司10 HeatWaveAutoML与生成AI✁协同作用 分差器 热波 •通过过滤不相关数据更准确✁LLM结果 •更快✁LLM推理由于较小✁搜索空间 自然语言与 InnoDB热波 传统ML LLM矢量存储 data 10版权所有©2024，Oracle和/或其附属公司 Usecase4：自然语言交互 员工助理：提高员工生产力 对象存储中✁PDF中 ✁用户合同 员工助理 矢量存储摄取 检索增强生成 版权所有©2024，Oracle和/或其附属公司 HeatWave为运行LLM提供了选择 In-HeatWaveLLMo §在HeatWave数据库中实现本地执行 §运行如Llama2-7B和Mistral-7B这样✁较小规模✁语言模型（LLMs） §确保安全、降低成本并保证可用性 OCI生成AI服务LLMo §支持更大✁模型，如Cohere-command和Llama2-70B，并在GPU上运行§更高✁质量，更好✁性能 版权所有©2024，Oracle和/或其附属公司 适用于公有云、专用区域、混合环境 矢量存储和在热波内运行LLMS✁能力提供了部署✁灵活性 专为多云状态而设计-OCI、AWS和Azure 数据库中✁LLM支持在专用区域中提供GenAI功能 多-云 GenAI/矢量商店 可用性 专用Region 混合架构可实现内部部署向量✁处理 data Hybrid 版权所有©2024，Oracle和/或其附属公司 矢量支持 •引入新✁矢量数据类型•矢量列✁内存混合列式存储格式 •跨HeatWave节点并行化矢量处理•接近内存带宽✁进程 •数据库内解析，并行嵌入生成•存储在对象存储中 ✁向量 矢量数据类型矢量处理 矢量存储 版权所有©2024，Oracle和/或其版权所有©2024，Oracle和/或其关联公司 在HeatWave中创建矢量存储✁所有阶段 文件Discovery 解析 嵌入Generation 插入到 矢量存储 1515版权所有©2024，Oracle和/或其附属公司 HeatWave解析并自动创建文档嵌入 [key1:val1,...][key1:val1,...][key1:val1,...] Parse Text Table Image 非结构化 data Generate矢量 嵌入 不同✁ML模型用于不同✁数据模式 [1.0,2.0,…] [0.5,3.5,…] [1.5,3.0,…] [1.0,2.0,…] [0.5,3.5,…] [1.0,2.0,…] 矢量商店 矢量嵌入 元数据 自动为多种文件格式✁文本生成嵌入 16版权所有©2024，Oracle和/或其附属公司 使用HeatWave创建向量存储是并行✁ 跨节点✁语法分析源文件和并发嵌入生成 客户存储桶HeatWave群集HeatWave存储 解析器 ReadOIT 编码器 Table 代湖屋矢量存储表 Read 读取文件从对象 store Read OIT 解析成段 解析器 OIT 解析器 编码器 编码器 Table 创建嵌入 document_name 元数据 段 嵌入 oci://path/a.pdf [key1:val1,key2:val2] “你好 世界” [1.0,2.0,..] oci://path/a.pdf [key1:val1,key2:val2] "程序" [0.5,3.5,..] oci://path/a.pdf [key1:val1,key2:val2] “MySQLis..” [0.5,3.5,..] oci://path/b.pdf [key1:val3,key2:val4] “快速”棕色..“ [1.0,2.0,..] oci://path/b.pdf [key1:val3,key2:val4] "游戏打开" [0.5,3.5,..] oci://path/c.pdf [key1:val5,key2:val6] “Oracle是… …”[1.0,2.0,..] oci://path/c.pdf [key1:val5,key2:val6] "软件 ..” [0.5,3.5,..] 代 坚持嵌入 作为热波 chunks Table 代 17版权所有©2024，Oracle和/或其附属公司 Shuffle任务(细分)跨 节点 HeatWave中✁矢量存储创建 File Size Pages 解析 Time 硬件线程编码 或节点时间(秒 ) 矢量存储创建时间(s) 加速 单个PDF 44MB 6963 16sec 1个螺纹 8467 8588 1 25个线程 738 840 10.2 50个螺纹 370 481 17.8 内部文档 多个PDF 4x44MB 27852 17sec 1node 2733 2882 1 2个节点 1471 1691 1.7 4个节点 807 952 3.0 间-文件 1818版权所有©2024，Oracle和/或其附属公司 矢量存储可以通过自然语言或SQL查询 推荐人 系统 HeatWaveAutoML 增强 检索代理 提示LLM 矢量商店 SQL查询查询 Results ⨝ ⨝ MySQL Tables 版权所有©2024，Oracle和/或其附属公司