PostgreSQL生态及大语言模型应用方案总结
PostgreSQL生态概要
PostgreSQL(简称PG)是世界最强大的开源企业级关系型数据库,由加州大学伯克利分校Michael Stonebraker创造,聚合全球贡献者,版本稳定迭代。全球开发小组每年发布一个主要版本(目前为PostgreSQL 17Beta 3),同时支持维护5个主要版本。PG社区繁荣,衍生多分支版本支撑国产数据库发展,其强大扩展能力支持多场景数据处理。
人工智能发展概要
人工智能(AI)是计算机科学分支,旨在生产能以人类智能相似方式做出反应、学习、推理和决策的智能机器。AI能极大提升生产力,影响生产关系。主要技术包括计算机视觉(CV)、自然语言处理(NLP)、机器学习(ML)、深度学习(DL)、专家系统(ES)等。大语言模型(LLM)是AI领域重要模型,在大规模文本语料上训练,包含百亿级别参数,用于文本生成、机器翻译、情感分析等任务。LLM主要特点包括规模庞大、基于深度学习架构(如Transformer)。目前主流LLM如GPT-3有45TB训练数据。
大语言模型与向量数据库
LLM分类包括语言大模型(NLP)、视觉大模型(CV)和多模态大模型。LLM存在数据安全性、知识局限性、幻觉问题等,而检索增强生成(RAG)是解决方案。RAG结合信息检索和生成式AI,通过检索获取相关知识并融入Prompt,提高LLM生成文本质量。向量数据库在RAG方案中作用包括保障数据安全、解决时效性、知识局限性和幻觉问题,并避免token限制。
向量数据库选型与pgvector优势
向量数据库将数据存储为高维向量,采用索引策略简化向量相似查询。选型需考虑数据规模、查询复杂度、性能需求、成本效益和社区支持。pgvector是专为PostgreSQL设计的开源向量相似性搜索插件,优势在于易于集成、开源免费、高性能、灵活性、SQL兼容性和灵活的索引支持。应用场景包括大模型知识库、推荐系统、文本/图像检索、领域知识问答系统等。
pgvector应用案例
去哪儿网选择pgvector原因包括:15年PG应用经验、落地成本低、SQL操作易上手、向量处理能力满足业务需求、标量/向量数据混合存储便于关联检索、继承PG所有功能及生态优势。目前PgVector在Qunar及途家已有10套集群,未来多个业务线项目将使用PgVector。