高质量数据集建设指引

一、背景

• 发展背景：人工智能进入大模型时代，数据成为核心要素，高质量数据集对技术创新、产业升级和治理能力提升至关重要。国家高度重视，出台多项政策支持高质量数据集建设。
• 概念内涵：高质量数据集是可直接用于开发训练AI模型、有效提升模型表现的数据集合，包含特征、标签、元数据和样本。
• 分类：按数据模态分为单模态（文本、图像、音频、IoT、多模态、思维链）和多模态数据集；按模型阶段分为预训练（海量、无标注）、微调（小规模、精标注）和评估数据集；按行业应用分为通识、行业通识和行业专识数据集。

二、应用需求

• 基础认知层：建立世界的基本认知框架，需要海量数据支撑，关注覆盖广度和基础质量，典型应用包括GPT、BERT等基础模型。
• 场景理解层：解析复杂场景关系，需要精细化标注和语义信息，关注语义完整性和逻辑一致性，典型应用包括机器阅读理解、目标检测等。
• 行动规划层：将理解转化为决策和行动，需要包含完整推理链和决策过程，关注推理严密性和价值对齐，典型应用包括数学定理证明、代码生成等。

三、建设现状

• 全球现状：通识类和行业类数据集并行推进，欧美国家在开放共享、标准体系、平台化建设方面领先，通过法案加速行业数据集建设。
• 我国现状：国家统筹规划，区域和行业层面并进发展，建设成效明显，但数据开放度、标准体系、关键技术等方面存在短板。
• 困难与挑战：数据供给结构性短缺、流通壁垒；技术处理能力和工具链水平薄弱；标准与治理规范和协同机制待完善；安全合规风险控制与开放平衡；成本与模式商业闭环未形成。

四、建设方法与实践

• 典型建设模式：“场景驱动”模式更契合高质量数据集建设的核心目标和发展方向。
• 建设核心环节：数据需求、数据规划、数据采集、数据预处理、数据标注、模型验证。
• 建设核心技术：数据采集（多源融合、边缘智能、生成模型辅助）、数据转换（规则引擎、语义理解、多模态）、数据清洗（规则自动化、机器学习、大规模）、特征选择（统计过滤、嵌入式包装、深度学习）、数据标注（半自动化、众包、主动学习）。
• 数据集质量评价：构建科学规范的评价工作体系，包括质量评价定位与实施流程、质量评价指标体系（说明文档、数据质量、模型应用）、质量评价工作体系建设。

五、建设运营体系

• 体系规划：搭建行业知识索引框架、绘制行业数据集资源地图、构建全链条、全行业标准体系。
• 工程建设：研发（需求管理、设计管理、数据加工）、交付（测试管理、发布管理）、运维（监控管理、资源管理）。
• 运营管理：用户需求响应、成本精细化管理、质量与安全维护、生态协同发展。

六、建设推进思路

• 体系化布局：加强分工协作、突出建设重点、畅通数据供给、完善标准规范、加强技术攻关。
• 设施化推进：发挥数据基础设施效能、建立全国数据集统一目录体系、探索建设数据集集成应用平台。
• 生态化赋能：搭建合作平台、完善制度机制、加强人才培养、推动共建共享。