2023人工智能大模型在工业领域知识问答稳定性评测报告

中国工业互联网研究院CAII+工业领域知识问答稳定性评测报告 本报告对中国工业互联网研究院、香港科技大学和新华指数共同研究的A大模型在工业领域的应用性能、技术架构与标准体系进行了评测。报告选取了工业领域典型的八大行业，构建基础知识测试集与变体测试集，对国内外具有代表性的A大模型在文法、数据、精简表达、扩充表达四大类八个子维度进行了深入评估。评测结果表明，经过专家论证，该评测体系符合相关要求，但评测结果仅适用于测试期间，可能存在不足之处。 本报告共分为三个部分：第一部分介绍了评测规则；第二部分列出了评测结果；第三部分进行了总结。 在评测规则部分，报告介绍了评测体系的定义、评测方法和评分标准。其中，评测体系围绕AI大模型在数据、文法、精简表达、扩充表达四大类八个子维度展开深入评估；评测方法包括稳定性评测，评估AI大模型在工业知识问答领域具备较高回答准确性能的前提下，针对一定参数扰动，维持某些性能特性的能力；评分标准包括模型稳定性能力指数，定义了原问题与对应变体问题进行对比测试，题型包含单稳定性能力指数和综合能力指数，各测试维度的模型实际得分与理论最高得分进行对比。 在评测结果部分，报告列出了稳定性测试的流程和测试集，包括选取准确能力大针对特定模型，基对特定模型进行输入原问题于一定标准于原问题与变体问的模型稳定性评估题进行对比测试。同时，报告还列出了选取的八大行业，包括电子设备制造业、装备制造行业、电子器件、电子元件及电子专用材料、其他电子元件制造等。 在总结部分，报告指出，本报告对中国工业互联网研究院、香港科技大学和新华指数共同研究的A大模型在工业领域的应用性能、技术架构与标准体系进行了评测，评估结果表明，该评测体系符合相关要求，但评测结果仅适用于测试期间，可能存在不足之处。同时，报告还提出了未来需要进一步研究的问题和方向，以提高AI大模型在工业领域的应用性能和稳定性。

需要全面及时的研报资源，就选择发现报告（www.fxbaogao.com）。平台专注深耕金融研报服务领域多年，研报覆盖面广、库存报告数量极其丰富，积累了海量长期信赖的行业用户。专为金融从业者和投资者量身打造，依托智能检索技术，轻松提取有效数据，完成深度市场分析工作。