腾讯云向量数据库：应用、新架构演进与未来

腾讯云向量数据库 生态新架构发展 主讲人：王行健 01 向量数据库 ——AGI时代的数据枢纽 大模型是一种能被智能化调度的算力 70s ECL Fortran 90s PRCC 00s X86C++ 10s ARM Java Now AgentNaturalLanguage ProgrammerEveryone 智能算力的背后需要智能化的数据平台 70s FilesystemAPI/CLI 80s RDMBSSQL 2005+ NoSQL Commands 2015+ CloudNativeDBSQL 2019-Now VectorDBNaturalLanguage 结构化数据->非结构化数据 智能时代的数据平台，向量数据库是数据的中枢 非结构化数据 Question?Retrieve 结构化数据 Human NaturalLanguage LLMAgentVectorDatabase AGI时代的数据中枢需要企业级能力+智能化 成本 可用性 企业级能力 性能 可靠性 安全性 拓展性 接口智能化计算智能化存储智能化 02 腾讯云向量数据库 ——企业级能力云原生全托管 腾讯云向量数据库 企业级能力 WebConsole（DMC）SDK(Python/Java/Go…)ClientToolLangchain 千亿规模 APILayer RestfulAPI ComputeLayer 高可用性弹性伸缩 多层安全防护 标量计算 UpsertDelete UpdateQuery RocksDB LeaderFollower 向量计算 Search KNNRangeFilter StorageLayer Index HNSWIVF AI计算 Embedding SplitIndexTraining ObjectStorage pdfwordText 可视化管理 Follower Raft Follower BI-IVF-HNSWReverseIndex…… 腾讯云向量数据库 向量化 智能化能力 数据采集平台（AI套件） 数据源 文档预处理 文档拆分Embedding 结果召回 AI套件端到端解决方案 集成Embedding 能力 对象存储 本地文件 PDF MarkdownWordExcelPPT 分词分段 信息补充 … 中文英文多语言 向量召回结果精排 索引多样性选择 1数据接入AI更便捷 多源异构数据采集入库后，向量数据 库可以作为下游AI应用的统一数据接口，大幅提高数据接入AI的效率 2数据处理质量高 自研解析算法可准确识别文件中的文 本、格式；按照段落级别拆分和补充信息可保留更多语义信息 3端到端90+%召回率 多文档检索场景下，端到端可达到 90+%召回率，满足业务准确率需要 腾讯云向量数据库 分布式架构 多分片 Engine0 DDL Master0(follow) Master1(leader) ... MasterM(follow) aft 并行处理 负载均衡 User read/write Engine1 ... DML control/recover Shard0(leader) heartbeat Shard0 (follower) 多副本 高可用性数据冗余 Engine ro ... Shardk(follower) orker0 ... Shardk(follower) orker1 ... Shardk(leader) orker Multi-raft 多索引灵活配置云原生可拓展高可用 腾讯云向量数据库 分布式架构 业界遇到的一些问题： 写入负载高，影响用户读请求 数据规模大，重建索引时间长 HNSW索引空洞，搜索精度下降 腾讯云向量数据库 存算分离新架构 独立资源池 资源隔离 高效计算 数据分段管理 分段存储动态扩缩容 一致性保证 03 发展与未来 ——AGI时代助力客户成功 腾讯云向量数据库 久经考验 源自腾讯集团自研向量检索引擎OLAMA，自2019年上线至今，经过5年打磨，集团内部已有60+业务线上使用，覆盖搜索、推荐、AI场景，日均处理8500亿次检索请求 9000 8000 7000 6000 5000 OLAMA向量引擎日检索量（亿次/天） 4000 3000 2000 1000 12/1/19 2/1/20 4/1/20 6/1/20 8/1/20 10/1/20 12/1/20 2/1/21 4/1/21 6/1/21 8/1/21 10/1/21 12/1/21 2/1/22 4/1/22 6/1/22 8/1/22 10/1/22 12/1/22 2/1/23 4/1/23 6/1/23 8/1/23 10/1/23 12/1/23 2/1/24 4/1/24 6/1/24 8/1/24 0 腾讯云向量数据库 持续打磨 基本功扎实：性能和成本业界大幅度领先 测试工具：ann-benchmark，数据集：sift-128-Euclidean，chinese-768-angular，数据量：100万行，召回率：99% 腾讯云向量数据库 生态演进AI套件：端到端解决方案 文档拆分多路召回+rerank Embedding增强RAG效果提升 腾讯云向量数据库 应用丰富 外挂知识库+多轮对话记录更懂用户、更人性化 向量数据库赋能传统业务搜索、推荐效果更佳 高效的向量数据检索性能优化、加速模型训练过程 腾讯云向量数据库 助力客户成功 集团内部60+业务接入 8500亿次请求/天 外部2000+客户接入 腾讯会议 腾讯文档 腾讯安灯 2000+ 腾讯云向量数据库 愿景 做好企业的AI数字化助手和行业一起成长 腾讯云向量数据库 腾讯云向量数据库 愿景做好企业的AI数字化助手，和行业一起成长 腾讯云向量数据库 THANKS