一、高质量数据集概述
(一)政策背景:国家持续完善顶层设计,地方多措并举推动建设落地。
(二)定义:经过处理可直接用于开发和训练人工智能模型,能有效提升模型表现的数据集合。
(三)分类:按用途分为通识、行业通识、行业专识数据集;按模态分为文本、图片、音频、视频等单模态和多模态数据集;按训练阶段分为预训练、微调、评估数据集。
二、发展现状
(一)国外:多元主体共建,开源生态驱动市场质效提升;基础技术领先,构建完整技术生态体系。
(二)国内:数据集供给规模快速扩展,类型持续丰富;AI场景驱动数据集需求激增,规模快速扩张;应用技术突破,技术生态体系加速构建。
(三)发展难点堵点:数据供给不足,高质量数据稀缺;技术不成熟,关键环节存在短板;数据来源单一,开源生态培育不足;运营不完善,制约数据价值释放。
三、建设路径
(一)建设流程:需求分析—数据规划—数据采集—数据预处理—数据标注—模型验证。
(二)建设模式:政府牵引、需求拉动、服务供给、生态协同。
(三)建设核心环节:规划先行(业务驱动、数据驱动)、数据采集(自有数据、数据交易共享、网络数据爬取、数据合成增强)、数据标注(转包、众包、自建团队)、质量测评(数据质量检测流程、数据质量评价标准)。
(四)建设案例:浙江电信联合某集团打造覆盖传统水泵安装全流程的高质量数据集。
四、运营体系
(一)建立数据集管理体系:制度构建、目录管理、发布管理、质量监控、更新管理。
(二)构建内外双循环价值体系:对内资产化运营(价值评估、资产入表与融资、内部场景应用)、对外产品化流通(标准化数据集服务、定制化数据集服务、一体化解决方案服务;共享、开源开放、交易)。
(三)打造协同发展生态体系:生态合作联盟、生态协同规则、开放生态服务、流通基础设施。
五、实施建议
(一)聚焦关键环节,打造系统建设能力:构建资源地图、加强技术攻关、部署生产设施。
(二)建立运营生态,驱动数据价值演进:构建动态运营管理体系、形成数据价值应用闭环、打造开放协同产业生态。
(三)构建制度保障,激发产业整体效能:供给端、流通端、合规与安全端。