BondClaw 固收投研系列二：人机协同的 REITs 公告批量搜集实践

1. 背景与思路

• 固收投研中存在大量重复性数据采集工作，如批量下载公告、定期拉齐报告、跨平台比对数据等，这些工作耗时费力，效率低下。
• 传统方案存在两难：专业爬虫工具开发门槛高、维护成本大；纯手动操作效率低下，容易遗漏。
• AI驱动的浏览器操作成为新范式，通过自然语言描述意图，AI自主理解网页内容、拆解操作步骤、执行并获取结果，效率远高于传统方式。
• web-data-scraper工具模拟分析师操作方式，发现并解析隐藏的API接口，实现批量数据获取，具备无需预先配置、智能策略选择、自主异常处理、人人可用等特征。

2. 实战过程：23分钟下载50份REITs报告

• 目标：从巨潮资讯网批量下载全部27只公募REITs的2026年一季报和2025年房地产评估报告。
• 过程分为五个阶段：
  • 第一阶段（约3分钟）：AI像人一样探索网页，识别搜索入口，输入关键词，初步了解网站结构。
  • 第二阶段（约5分钟）：AI发现并利用隐藏的API接口，获取全部REITs产品清单，并学习查询公告列表和PDF下载地址的方法。
  • 第三阶段（约5分钟）：AI编写脚本，首次批量下载一季报，但遇到编码格式和标签污染问题，经过修复后成功下载。
  • 第四阶段（约7分钟）：AI尝试下载评估报告，但遇到标题命名不规范问题，调整策略为“先拉全量、再本地筛选”，人工反馈后，AI定位并修复了匹配逻辑错误。
  • 第五阶段（约3分钟）：AI采用“双模式匹配”机制，最终正确下载所有评估报告，并进行成果校验。

3. 成果与数据验证

• 最终成果：下载50份PDF文件，覆盖26只REITs的一季报和24份评估报告，准确识别出2只未发布报告的产品和1只尚无任何报告的新产品。
• 异常情况处理：AI主动识别并处理了新上市产品无报告、评估报告与估价报告混淆等异常情况。
• 文件组织结构：下载的50份PDF文件按照产品维度进行组织，每只产品一个文件夹，文件命名清晰规范。

4. 两个值得关注的细节

• 突破视觉限制：AI通过发现隐藏的API接口，突破了人工操作的视觉限制，一次性获取了完整的REITs产品清单。
• 逻辑自愈与人机协作的必要性：AI通过文件大小自检发现异常，但需要人工反馈确认问题，并协助AI定位根因、修复代码，体现了人机协作的必要性。

5. 总结与展望

• 关键启示：
  • AI数据采集已达到实用水平，可自主完成网站探索、API发现、脚本编写、异常处理等环节。
  • 人机协作是当前有效模式，AI自主执行提供效率底座，人工在关键时刻提供质控作用。
  • API优先策略显著提升效率，AI能发现并利用更优路径。
• 对固收应用的建议：
  • 将重复性数据采集交由AI代理。
  • AI结果仍需人工校验。
  • 关注合规边界。
• 当前局限与观察：
  • AI对复杂网页结构的理解准确率有待提升。
  • 多步骤长链路操作的完成率和错误恢复能力需要更多场景验证。
  • 大规模调用下的成本控制需要进一步测试。
• 下一步优化方向：多Agent并行，通过多个子Agent并行执行任务，大幅缩短整体耗时。

6. 风险提示

• 有限开源说明：仅开源了项目思路和工作流经验，需要根据实际业务场景进行定制化配置。
• AI技术局限性：大语言模型存在幻觉风险，结构化提取结果可能存在遗漏或偏差。
• 数据采集合规风险：需遵守目标网站的使用条款及相关法律法规。