该研报重点探讨了AI安全领域,特别是模型安全需要引入独立外部评估的趋势。报告指出,OpenAI等六家顶尖AI公司已签署《超级智能协议》,将引入外部独立安全审查或评估机构写入国家级承诺,并明确了四层安全管控机制。此外,报告还分析了海外AI安全攻防两端同步加速的情况,以及国内模型侧安全需求已显现的迹象,如国家互联网应急中心测试显示国内大模型存在大量安全漏洞。
AI安全赛道正快速发展,模型公司引入外部安全能力已成为行业共识。海外方面,AI安全攻防两端同步加速,AI Agent武器化从推演走向现实,进一步催化行业安全需求。国内市场,AI安全需求正从政企侧向模型侧扩容,模型安全评估与红队测试或成为国内大模型上线前的必选项,预示着国内AI安全市场即将放量。
研报主要分析了AI安全领域,特别是模型安全需要引入独立外部评估的趋势。报告从海外和国内两个维度展开分析,海外方面重点关注了《超级智能协议》的签署及其对AI安全管控机制的影响,国内方面则分析了国内大模型的安全漏洞情况以及AI安全需求从政企侧向模型侧扩容的趋势。此外,报告还探讨了模型公司引入外部安全能力的重要性,以及外部审查机构及红队测试服务商的发展机遇。
当前AI安全市场正处于快速发展阶段,模型安全需求正从政企侧向模型侧扩容。海外市场,AI安全攻防两端同步加速,AI Agent武器化已从推演走向现实,这进一步催化了行业对AI安全的需求。国内市场,国家互联网应急中心的测试结果显示,国内25家厂商54款大模型存在873个安全漏洞,涉及越权访问、代理身份滥用等问题,这表明模型安全评估与红队测试或成为国内大模型上线前的必选项。
研报中提示,尽管AI安全市场前景广阔,但模型安全评估与红队测试的实施仍面临诸多挑战。例如,外部审查机构及红队测试服务商的资质和能力需要进一步提升,以满足日益增长的行业需求。此外,模型公司引入外部安全能力也需要克服一定的技术和成本障碍。因此,虽然AI安全市场放量在即,但相关参与者仍需谨慎应对潜在的风险和挑战。