腾讯云大数据AI大模型增强及应用，赋能企业智能化转型

极“智”搜索 腾讯云大数据ESRAG应用实践分享 主讲人：任翔 drop_duplicates算子调优 文本向量化调优 mapPartition 去重任务优化 热键数据发现及打散 过滤任务加速 input文件大小优化 过滤与压缩调优 DLC语料数据Spark预处理最佳实践 覆盖预清洗、训练数据拼接与标记化等阶段的spark参数调优最佳实践方案 产品优势4：LLM训练语料数据预处理业界最佳实践 URL过滤 文本压缩 文档级别过滤 近似去重 绝对匹配去重 文本向量化 训练数据 网络爬取数据 01 文本准备 02 文本过滤 03 去重处理 04 聚类及向量化 节约算力 30% 性能提升 35.5% 业界独有能力 GPU混部 在大模型数据预处理环节，凭借极致弹性+Spark调优+开箱即用，数据湖方案得到有效验证 高效的 spark批处理 针对长文本、向量化处理的专项优化 针对AIGC调优的Spark环境1， 提升数据清洗成功率 Spark稳定性 对按需 弹性需求极高 AI业务的数据处理量并不是每天稳定 AIGC客户核心诉求 DLC产品关键竞争力 Serverless计算CU极致弹性，CPU+GPU资源 混部解决方案 极致弹性 重视开箱即用与易用性 AI场景的客户在技能上“重AI，轻大数据” 支持机器学习及AI场景常 用依赖包管理 开箱即用 DLC在AIGC的最佳实践：https://iwiki.woa.com/p/4008195203 •1.DLC在AIGC的最佳实践：https://iwiki.woa.com/p/4008195203 RAG检索增强生成 RAG：RetrievalAugmentedGeneration 一种通过检索外部知识库来改进大模型内容生成效果的技术方案 预训练大模型（挑战） 本地知识库（补充） RAG应用场景 大模型 搜索 应用 知识更新问题 缺乏特定知识 模型幻觉 私域专业知识 信息安全&版权保护 知识问答 智能客服 专家系统 在LLM带来的新革命中，搜索比以往任何时候都更重要！搜索与大模型结合得更为紧密！ 腾讯云ESRAG体验馆 腾讯云ES一站式RAG技术架构典型案例（扫描了解） 用户问题 查询转换 转换后的问题 上下文窗口 提示词工程 混元大模型最佳答案 微信读书“AI问书” 核心优势 低门槛：一站式向量检索平台 高性能：百万级QPS、千亿级向量 更精准：独有向量和文本混合搜索 更智能：与LLM大模型无缝集成 通过生成式回答、标注引用来源、提供猜你想问，大幅提升阅读体验。 二维码 企业知识库 文档图像音频 数据处理向量转换 混合搜索重排序 腾讯云ES 文本&向量索引模型管理 公共互联网数据 模型上传 低门槛 一站式向量检索平台 高性能 支持百万级QPS、千亿级向量规模 更精准 独有的向量和文本混合搜索能力 更智能 与LLM大模型无缝集成，轻松构建AI智能问答应用 ES在向量检索与AI增强上的优势小结 文本搜索 向量检索 混合排序 聚合分析 权限管理 腾讯云ES-首个通过信通院RAG权威标准认证 中国信通院云计算与大数据研究所大数据与智能化部依托中国通信标准化协会大数据技术标准推进委员会（CCSATC601），联合40余家企业的70余位专家共同编制完成了《检索增强生成（RAG）技术要求》标准。 腾讯云ES是国内公有云首个从自然语言处理，到向量生成/存储/检索，并与大模型集成的端到端一站式技术平台 腾讯云是核心参编企业，也是首个通过RAG权威标准认证的企业 RAG标准包含知识库构建能力、知识检索能力、内容生成能力、质量评估能力、平台能力等五大能力域，17个能力子域，50个能力项。 携手腾讯云ES共创阅读新场景 数据规模大 超10亿级向量规模，存储成本高，早期预估30亿768维的向量，需要超过400台64G机器 运维成本高 除了文本搜索服务，同时还需部署向量化服务，在外部进行向量化后，写入到向量数据库，同时向量数据库不存储原始meta信息，还需要额外部署正排服务，多套服务运维成本高。 开发成本高 调试召回过程中，需要在外部进行向量化后，从向量 数据库召回，然后再用召回id访问正排获取meta信息 稳定性要求高 在线读书平台，超亿级用户，稳定性要求5个9 查询性能要求高 高并发场景下查询延迟需要毫秒级返回，全链路多路召回需控制在300ms以内 微信读书 为什么 选择腾讯云ES 机器成本低 ES提供了低成本的索引存储和检索，提供了向量量化以及不要求全内存索引，机器成本大大降低 运维成本低 提供一站式检索方案，同时提供文本检索、向量检索、机器学习集群,降低服务运维成本 所见即所得 开发同学在kibana上就可以调试召回流程，所见 即所得 专业团队支持 背靠腾讯云ES团队，大平台专业团队 性能卓越 经过测试，数亿量级的索引召回平均耗时在 100ms以下，性能卓越 腾讯云ES实现RAG的优势 高准确率 文本+向量的混合搜索，有效应对各场景下的检索需求。 开发实现效率高 存储成本低 运维投入低 基于ES独立架构即可完成向量生成->向量存储->向量检索的全流程操作。 查询效率高 稳定可靠 自研基于内存的熔断限流策略，有效应对高并发与大查询，为业务保驾护航。 一站式技术方案，上手容易， 研发实现高效 支持LZ4、Deflate等压缩 算法、有效降低存储成本。 高并发场景下，十亿级向量 检索查询延迟低至毫秒级。 离线计算 实时计算 MLOPS Monitoring CI/CD ModelDeployment ModelRegistry FeatureStore DataPreparation … NL2SQL LLMAgent 深度强化学习 异常检测 时序预测 AI中台能力 系统效率 运营效率 业务效率 整体框架 03 核心技术 02 TI-ONE Models-StatisticalAlgorithms+MachineLearning+LLM 智能存储 缓存预热数据放置学习型索引 智能优化 ABO 负载预测任务调度 成本优化 资源调度内存调优透明压缩 AIOPS 根因分析故障自愈持续可用 Assistant SQLCopilotAI助手 智能搜索 自治服务 异常闭环弹性扩缩容性能调优 LLMAgent Tuning-DeepReinforcementLearning Time-SeriesPrediction 底层依赖 Metric 基础数据 Log Event 混元大模型 天穹平台大脑 自治系统：提升业务效率、运营效率和系统效率 01自治系统价值 三个方面核心价值： 业务效率 降低产品的使用门槛提升开发和运维效率 运营效率 平台大规模运营提效解决运维效率、成本优化和稳定性难题 系统效率 复杂查询的优化和调度数据放置、索引和缓存的优化 THANKS