摘要：近日，中国信息通信研究院（以下简称“中国信通院”）发布“可信AI”人工智能数据集质量评估体系（ADAQ）。该体系依托中国人工智能产业发展联盟和“人工智能关键技术和应用评测工业和信息化部重点实验室”建立，用以确保数据高质量供给，形成贯穿于大模型全生命周期的高质量

本报讯 （记者何 可 实习记者刘松瑶）近日，中国信息通信研究院（以下简称“中国信通院”）发布“可信AI”人工智能数据集质量评估体系（ADAQ）。该体系依托中国人工智能产业发展联盟和“人工智能关键技术和应用评测工业和信息化部重点实验室”建立，用以确保数据高质量供给，形成贯穿于大模型全生命周期的高质量数据闭环。

高质量的人工智能行业数据集可以提升模型的泛化能力，并能推动模型准确、高效、可靠构建，降低过拟合风险。人工智能数据集质量评估测试，则是对人工智能行业数据集的质量情况评估，有助于人工智能系统稳健运行。

据了解，ADAQ由质量管理评估、质量评估指标、定制化测试方案构成，旨在搭建“1+1+N”质量评估框架，通过质量评估测试，系统性检查数据集，保障数据供给质量。

其中，“1”代表一套方法，即建立评估指标和方法，保障标准化实施。该体系依据行业标准《面向人工智能的数据集质量通用评估方法 总体要求》，按照“可用+好用+落地”原则，将完整性、规范性、准确性、及时性、一致性等12个一级指标和36个二级指标纳入数据集评估标准，涵盖测试数据集准备、测试条件初始化、前置检测、后置检测以及数据集质量评估得分计算等五大核心部分，为人工智能数据集质量管理和质量评估提供了标准依据和规范。

另一个“1”代表一个平台，即自建人工智能数据集质量评估工具平台。该平台按照“规则检测+人工抽样+模型效果”的“三道关卡”融合思路，聚合项目管理、参数配置、测评过程管理、可视化分析与总结、知识图谱管理、大屏展示等核心功能模块，将促进人工智能数据集质量评估项目执行。

“N”为定制化测试方案，可针对多样化需求，覆盖不同测试数据类型，覆盖文本、图像、音频、视频以及多模态等不同类型数据集，包含预训练、监督微调、反馈强化、强化微调、推理等不同模型训练阶段。

“目前，ADAQ已向部分企业提供服务，有效助力企业提升行业数据集的标准化建设能力。”中国信通院相关负责人表示，该院将结合人工智能技术发展趋势和行业高质量数据集建设需求，持续完善人工智能数据集评估体系，推动技术提升及产业发展。

来源：中国质量新闻