核心观点与关键数据
大模型推理推动计算架构转向GPU核心
- 传统计算架构以CPU为核心:设计用于运行逻辑复杂的程序,如操作系统和Web服务器。
- GPU强项在于并行处理:AI推理的矩阵运算天然适合GPU的SIMT单指令多线程架构。
- 内存墙瓶颈:CPU使用DDR内存带宽50-200GB/s,GPU使用HBM带宽达2-5TB/s,数据供不应求是主要瓶颈。
GPU直连技术探索与目标
- 打破PCIe瓶颈:
- NVLink/NVSwitch实现GPU间直连,无需CPU中转。
- CXL允许GPU直接访问系统内存或共享地址空间。
- 封装化方案(如NV的Grace-Hopper或苹果M芯片)将CPU与GPU集成。
- 存储直连技术:
- NVMe SSD直接将数据传输至GPU显存,CPU仅负责指令。
- 现有路径:硬盘数据→系统内存→CPU处理→GPU显存,存储直连可省略中间环节。
数据库向GPU-Native变革路径
- 算子重构:
- 传统DB算子需用CUDA或OpenCL重写,以适配GPU并行架构。
- 执行计划直接调用GPU内核函数,在显存中完成数据过滤、聚合和连接。
- 显存管理:
- 数据库需直接管理GPU显存,通过智能算法决定热数据驻留策略。
- GDS(GPU Direct Storage)实现显存与存储的高速交互。
- 数据布局优化:
- 从CPU友好的行式存储转向GPU友好的列式存储。
- 对齐磁盘、内存和GPU传输的数据格式。
- 全面向量化:
- 查询引擎需一次处理向量块,适配AI推理中的RAG(Retrieval-Augmented Generation)。
- 内置GPU加速的向量索引,提升向量检索效率。
技术前瞻性与市场空间
- 公司官网已发布GPU-native数据库,性能较CPU模式提升显著。
- ArgoDB作为分布式闪存数据库,具备技术前瞻性和广阔市场空间。
- 未来或与NVIDIA合作探索GPU直连方案,进一步优化数据库性能。