金融大模型应用评测报告：摘要版

一、评测范式

• 评测对象：14家机构20个主流大模型（涵盖国内外、开闭源、通用与垂模）
• 测评维度：模型基础能力、金融安全与价值对齐能力、金融风险控制能力、金融专业认知能力、金融业务辅助拓展能力
• 数据集：《库帕思金融大模型评测数据集（2024版）》
• 工具：OpenCompass平台
• 综合评估：线性加权模型，多模态模型不计入总分

二、评测结果

• 总分平均：71.9分，前三名：Anthropic Claude-3.5-Sonnet、阶跃星辰Step-2-16k/Finstep、阿里巴巴Qwen2.5-72B
• 各维度表现：
  • 模型基础能力：59.8分，前三名：阿里巴巴Qwen2.5-72B、Anthropic Claude-3.5-Sonnet、阶跃星辰Step-2-16k
  • 金融安全与价值对齐：92.8分，前三名：阶跃星辰Step-2-16k、智谱GLM-4-plus、阿里巴巴Qwen2.5-72B
  • 金融风险控制：77.1分，前三名：Anthropic Claude-3.5-Sonnet、阶跃星辰Step-2-16k、零一万物Yi-Lightning
  • 金融专业认知：52.0分，前三名：腾讯Hunyuan-Turbo/Hunyuan-Vision、字节跳动Doubao-pro、阶跃星辰Step-2-16k/Finstep
  • 金融业务辅助拓展：77.8分，前三名：Anthropic Claude-3.5-Sonnet、OpenAI GPT-4o、零一万物Yi-Lightning

三、评测总结

• 金融安全与价值对齐表现优异，但金融专业认知和多模态处理能力需提升
• 高质量金融语料建设（尤其是多模态数据集）是提升模型能力的关键
• 构建以金融业务为核心的评测框架，推动行业高质量发展