大模型智能体开发平台技术能力测试研究报告

背景与核心内容：在产业智能化转型加速背景下，大模型驱动的智能体（Agent）技术发展迅速，重塑企业级服务生态。本报告对阿里云百炼、腾讯云智能体开发平台、扣子及百度智能云千帆四个典型智能体开发平台进行技术能力测试，围绕RAG能力、工作流能力和Agent能力三个维度展开评估。
测试方法与数据说明：通过构建标准化测试框架，结合多模态测试数据集、统一配置的智能体/工作流、综合性问题集，以及多样化调用与过程采集方式，实现对平台核心能力的系统测试与分析。测试涉及政府、电商、电力三个行业的业务资料，包括纯文本文档、结构化表格和图文内容。
免责声明：测试时效性限定于2025年5月20日至2025年6月15日，结果受限于特定模型版本和测试场景，不构成商业推荐，最终解释权归国家工业信息安全发展研究中心赛昇实验室所有。

测试指标：检索精准度、知识覆盖广度、推理融合度、时效性响应、多模态适配性、鲁棒性表现。
测试实施：构建了基于知识载体多样性、任务复杂度与机制完备性的三维评估体系，选取政策咨询、电商客服、销售数据分析等6个典型场景，构建500+个高质量问题集，设计文本问答、结构化数据问答及图文问答任务。
测试结果：
- 文本问答：各平台在文本问题处理上准确性较高，单文档问题少量丢分，多文档文本问题表现良好，但部分平台调用结果稳定性不足。
- 结构化数据问答：阿里云百炼、腾讯云智能体开发平台、扣子均设置了独立的结构化数据导入模块，但阿里云百炼在跨表关联、多条件组合统计时易出现信息遗漏与聚合误差；腾讯云智能体开发平台单表查询表现优异，但在多表查询时存在SQL查询未能正确执行的情况；扣子在部分场景下存在自然语言到结构化查询的转换问题；百度智能云千帆表现稳定。
- 图文问答：各平台均具备OCR图片文字识别技术，但百度智能云千帆识别率低的原因在于流程bug；多模态内容关联与配图回答率分化，腾讯云智能体开发平台表现领先；各平台在图片输出环节均出现内容校验失效问题。

测试指标：参数动态提取、异常回退、意图识别、容错处理。
测试实施：以订单修改为核心场景，基于包含13条端到端工作流、共计80+个问题的问题集，全面覆盖参数提取、回退、意图识别及流程容错四个关键环节。
测试结果：各平台在意图识别环节均保持较高水平，流程终止节点判断准确率达100%。参数提取环节表现分化，阿里云百炼与腾讯云智能体开发平台提取准确率高于百度智能云千帆与扣子。端到端流程准确率方面，阿里云百炼和腾讯云智能体开发平台准确率接近70%，扣子和百度智能云千帆略低。各平台工作流已具备基础可用性，但在复杂信息处理场景下的技术实现深度与节点细节调优水平存在一定差异。

测试指标：意图理解深度、操作协同性、反馈有效性、机制完备性。
测试实施：以DeepSeekR1为基础模型，集成天气查询、数据分析、图表生成等6大类通用工具，设计40+个问题集，重点考查单工具调用、多工具协同、提示词显式调用。
测试结果：各平台智能体均构建了基础工具调度机制，实现从用户需求到工具调用的逻辑映射。基础推理模型的强逻辑能力保障了工具意图识别的一致性，各平台智能体在工具调用效果上的差异主要源于平台级生态支撑与流程优化水平。腾讯云智能体开发平台表现突出，工具本身的功能完整性与响应稳定性直接提升了调用成功率。各平台智能体均存在不同程度的工具调用流程断点问题，如百度智能云千帆未将代码执行结果转化为可视化图表并直接输出，阿里云百炼、百度智能云千帆均出现过三方天气/地图工具认证失败导致调用中断的情况。

核心观点：当前智能体开发平台能力呈现“基础能力趋同，产品路径分化”的竞争格局，各平台在文本处理、流程控制等基础场景已形成标准化能力，但在复杂场景处理、多模态协同及工具生态建设上表现出一定差异。
关键数据：
- 文档单点知识回复准确率、多文档多段知识组合回复准确率、无关知识拒答准确率、模糊知识澄清准确率等RAG能力指标。
- 单表查询准确率、多表关联查询准确率、图文问答准确率、答案关联出图率等工作流能力指标。
- 端到端准确率、参数提取准确率、参数回退准确率、意图识别准确率、工作流结束判断准确率等工作流能力指标。
- 单工具调用完成率、多工具调用完成率、提示词调用完成率等Agent能力指标。
研究结论：
- 各平台差异性主要体现在技术路径选择与工程实现深度上，阿里云百炼、百度智能云千帆、扣子、腾讯云智能体开发平台在各自维度均有优势。
- 智能体开发平台间竞争力的实质已逐步由单点能力比拼转向体系能力构建。
- 未来发展将取决于场景深度适配、技术链厚度构建、生态广度拓展三个关键路径的持续演进。
- 智能体开发平台正处于能力体系构建的关键爬坡期，从“任务完成”向“任务统筹”再到“服务自治”的跨越是未来发展方向。