高质量数据集建设

四、高质量数据集质量评测标准

高质量数据集的质量评测需满足多维度指标要求，主要包括安全规范性、结构完整性、格式规范性、标注规范性、内容一致性、内容真实性、类型一致性、内容干净性、规模完整性、内容多样性、内容时效性、模型适配性和标注准确性等方面。

1. 安全规范性
   数据集需符合安全要求，不包含违反社会主义核心价值观、歧视性内容、商业违法违规、侵犯他人合法权益等非法内容。

2. 结构完整性
   数据集的元数据完整，不包含缺失值或缺失值在合理范围内。

3. 格式规范性
   数据格式符合预定标准，可直接用于人工智能模型开发和训练。

4. 标注规范性
   数据标注遵循预先设定的规范化流程。

5. 内容一致性
   数据集相关联的数据间内容致，包括不同模态和同模态数据间的一致性。

6. 内容真实性
   非合成数据可追溯采集源头，合成数据可追溯生成算法和过程，且符合目标场景真实数据分布规律。

7. 类型一致性
   数据符合所属类型要求：通识数据集蕴含通用知识，行业通识数据集蕴含行业领域通用知识，行业专识数据集蕴含行业领域专业知识。

8. 内容干净性
   数据经过严格清洗处理，不包含脏数据。

9. 规模完整性
   数据集规模满足目标应用场景模型开发和训练要求。

10. 内容多样性
    数据分布全面程度满足目标应用场景模型开发和训练要求。

11. 内容时效性
    数据采集时间和更新状态满足目标应用场景模型开发和训练要求。

12. 模型适配性
    数据能有效提升目标应用场景人工智能模型的性能。

13. 标注准确性
    数据标注能精准标记出目标应用场景模型开发和训练所需的所有信息。