计算机行业深度报告：AI监管，铸就创新与安全平衡之道

计算机行业深度报告 证券研究报告·行业深度报告·计算机 AI监管：铸就创新与安全平衡之道2023年07月24日 增持（维持） 投资要点 AI发展引发新的安全问题：以ChatGPT为代表的生成式人工智能正在重塑数字内容的生产方式和消费模式，显著地影响各行各业变革。今年 证券分析师�紫敬 执业证书：S0600521080005 021-60199781 wangzj@dwzq.com.cn 行业走势 以来，大模型技术与AIGC快速融合发展，大模型生成的内容能够达到计算机沪深300 “以假乱真”的效果。相应地，应用门槛的不断降低，使得“换脸”、“变声”等手段更容易实现，因AIGC滥用带来的虚假信息、偏见歧视乃至意识渗透等问题无法避免，对个人、机构乃至国家安全都存在较大的风险。因此对生成式人工智能服务的新监管需求也随着而来。目前。AI多带来的新安全问题主要包括AIGC内容安全和数据安全问题。 AI监管：政策与法规先行：考虑到AI可能对社会带来的安全问题，安全标准、法律法规和自我监管是对AI进行监管较为重要的基石。政府层面，亟需出台监管政策对其加以规范，实现监管覆盖全面化，分阶段、全流程规范AIGC相关要素。企业层面，也需要通过被监管以消除社会 对AI大模型的不信任。中国政府重视AI产业，国内网信办等7个部委发布的《生成式人工智能服务管理暂行办法》将于2023年8月15日起 正式施行，同时《国务院2023年度立法工作计划》显示，《人工智能法》已列入立法计划，AI监管政策正加速推进。 AI监管：平衡创新与安全、监管手段多样：AI监管主要是面向AIGC技术的违规应用，应对AIGC可能给社会、政治、金融、教育带来的危害，这是国家安全、社会安全的关键，因此，对于AI监管来说，要从内容安全机制、技术监管手段等层面进行突围。内容安全机制的原理是 通过数据安全控制、算法备案和安全评估、内容安全合规等一系列流程确保生成内容符合法规和监管要求。技术监管手段的原理是利用AI对抗AI，通过海量测试数据集，对AIGC生成式模型的数据、过程、生成 内容进行全过程的测试、监管。 AI监管有望催生千亿市场：2030年我国人工智能核心产业规模将超过1万亿元人民币。一般信息化投入中安全占比至少在5%-10%以上，而由于AI大模型特殊性，AI安全未来将成为所有参与方必须考虑的问题，贯穿从数据标注、模型训练和开发、内容生成、应用开发的事前-事 中-事后全过程，投入力度不亚于传统安全投入，因此假设AI监管在整个产业链中的占比按照5%-10%来测算的话，我们预计到2030年国内AI大模型的监管市场规模将达到500-1000亿元。 相关标的：中国AI监管现阶段关注内容合规，生成内容需保证真实准确，体现核心价值观，不得对国家安全、经济发展和社会稳定构成威胁与挑战。有图像、视频鉴真或内容监管能力的企业有望率先受益于AI 监管政策的出台与落地。建议关注AI监管相关公司：人民网、新华网、美亚柏科、博汇科技。 风险提示：政策落地不及预期，AI监管推进不及预期，行业竞争加剧。 43% 37% 31% 25% 19% 13% 7% 1% -5% -11% -17% 2022-7-252022-11-222023-3-222023-7-20 相关研究 《信创行业更新：招标可期，左侧布局》 2023-07-03 《重视AI+应用投资机会》 2023-07-02 1/31 东吴证券研究所 内容目录 1.AI发展引发新的安全问题5 1.1.AIGC内容安全问题5 1.2.数据安全问题6 2.AI监管：政策与法规先行7 2.1.政府层面：借助法律法规保障AI行业有序繁荣9 2.1.1.欧洲强监管，立法取得突破进展9 2.1.2.美国弱监管鼓励行业自律，近期监管加速推进10 2.1.3.中国首个生成式AI服务监管文件出台，关注AIGC内容安全11 2.2.企业层面：加强自我监管，规范行业秩序13 3.AI监管：平衡创新与安全，监管手段多样13 3.1.引入安全机制13 3.2.技术监管手段丰富14 3.1.AI监管有望催生千亿市场17 3.2.AI监管行业竞争要素：品牌、技术、市场18 4.相关标的18 4.1.人民网18 4.2.新华网20 4.3.美亚柏科22 4.4.博汇科技24 4.5.东方通26 4.6.拓尔思28 5.风险提示30 2/31 东吴证券研究所 图表目录 图1：大模型输出内容容易存在较大风险5 图2：通过提示词绕过限制生成钓鱼邮件6 图3：AI生成图片显示�角大楼附近地区发生爆炸6 图4：潜在的数据泄露风险可能更高（2023年2月和2023年4月，单位：人/10万人）7 图5：OpenAI调整ChatGPT数据管理措施8 图6：《人工智能法案》将AI应用分为不同风险级别进行监管，形成风险金字塔9 图7：OpenAI主动发布《Governanceofsuperintelligence》13 图8：AIGC内容安全合规解决方案框架14 图9：AIGC-X测试案例14 图10：AIGC的生成瑕疵15 图11：AIGC的生成瑕疵15 图12：事实核查机器人的亮点15 图13：事实核查机器人识别暴恐内容15 图14：行业基础大模型框架17 图15：蚂蚁集团与清华大学联合推出的“蚁鉴AI安全检测平台2.0”17 图16：人民网产品体系及旗下网站平台19 图17：人民网2020-2023Q1营收及同比增速19 图18：人民网2020-2022年营收结构（亿元）19 图19：新华网2020-2023Q1营收及同比增速21 图20：新华网2020-2022年营收结构（亿元）21 图21：事实核查机器人识别暴恐及色情内容21 图22：美亚柏科主营业务22 图23：美亚柏科2020-2023Q1营收及同比增速23 图24：美亚柏科2022年营收结构23 图25：美亚柏科：AI-3300"慧眼"视频图像鉴真工作站23 图26：博汇科技：智能视听全站解决方案24 图27：博汇科技2020-2023Q1营收及同比增速25 图28：博汇科技2022年营收结构25 图29：系统运行界面26 图30：系统运行界面26 图31：东方通2020-2023Q1营收及同比增速27 图32：东方通2020-2022年营收结构27 图33：拓尔思2020-2023Q1营收及同比增速29 图34：拓尔思2020-2022年营收结构29 图35：TRS自动校对云服务30 表1：数据泄露事件引发担忧，ChatGPT遭禁用6 表2：欧洲国家数据监管趋严，OpenAI调整数据管理措施积极配合政府监管8 表3：欧盟《人工智能法案》具有域外效力10 表4：美国人工智能治理的重要文件与事件10 表5：政策文件中与内容安全有关的表述11 3/31 东吴证券研究所 表6：人民网主要业务及具体内容19 表7：新华网主要业务及具体内容20 表8：博汇科技主要业务及具体内容24 表9：东方通主要业务及具体内容26 表10：拓尔思不同技术领域及具体内容28 4/31 东吴证券研究所 1.AI发展引发新的安全问题 新技术发展同时会带来新的安全问题。以ChatGPT为代表的生成式人工智能正在重塑甚至颠覆数字内容的生产方式和消费模式，越来越显著地影响各行各业的变革。今年以来，大模型技术与AIGC快速融合发展，大模型生成的内容能够达到“以假乱真”的效果，这使得应用门槛也在不断降低，人人都能轻松实现“换脸”、“变声”。因AIGC滥用带来的虚假信息、偏见歧视乃至意识渗透等问题无法避免，对个人、机构乃至国家安全都存在较大的风险。因此对生成式人工智能服务的监管已成为全球治理的重大课题。目前，AI带来的新安全问题主要包括AIGC内容安全和数据安全问题。 图1：大模型输出内容容易存在较大风险 数据来源：安恒信息公众号，东吴证券研究所 1.1.AIGC内容安全问题 生成式AI可能被引导生成包含有害内容的文本、照片、视频，或用于非正当用途，可能引发网络、社会安全及意识形态问题。 1)网络安全：LLM可以被用于生成钓鱼邮件，并通过提示词令LLM模仿特定个人或群体的语言风格，使得钓鱼邮件可信度更高。安全机构CheckPointResearch在近期发表的报告中表示已经在暗网发现有黑客试图绕过限制将ChatGPT用于生成钓鱼邮件等。此外LLM可以辅助生成恶意代码，进而降低了网络攻击的门槛。 2)虚假信息：1.深度合成成为诈骗手段之一。骗子可通过AI换脸和拟声技术，佯 装熟人实施诈骗。2.虚假内容对社会造成不利影响。生成式AI使得虚假信息变得更容易、更快速也更廉价，AI生成的虚假内容可能对社会造成不利影响。美国时间5月22日上午，一张由AI生成显示�角大楼附近地区发生爆炸的图片在社交网络疯传。据环球网报道，图片开始流传的瞬间美国股市出现了明显下跌。 3)意识形态：为提高AI面对敏感复杂问题的表现，开发者通常将包含着开发者所认为正确观念的答案加入训练过程，并通过强化学习等方式输入到模型中。这可能会导 5/31 东吴证券研究所 致AI在面对政治、伦理、道德等复杂问题生成具有偏见的回答。OpenAI于3月发表文章《GPT-4SystemCard》称，GPT-4模型有可能加强和再现特定的偏见和世界观，模型行为也可能加剧刻板印象或贬低性的伤害。例如，模型在回答关于是否允许妇女投票的问题时，往往会采取规避态度。 图2：通过提示词绕过限制生成钓鱼邮件图3：AI生成图片显示�角大楼附近地区发生爆炸 数据来源：Darkreading，东吴证券研究所数据来源：纽约邮报，东吴证券研究所 1.2.数据安全问题 数据泄露事件引发担忧，ChatGPT遭禁用。ChatGPT由于开源库bug导致信息泄露，泄露数据分别为“设备信息”、“会议内容”与“订阅者信息”。根据Cyberhaven的数据，潜在的数据泄露风险可能更高：每10万名员工中就有319名员工在一周内将公 司敏感数据输入进ChatGPT，且这一数据较2个月前有所增长。截至目前已有苹果、摩根大通、三星等多家企业禁止其员工与ChatGPT等聊天机器人分享机密信息。 表1：数据泄露事件引发担忧，ChatGPT遭禁用 组织 事件类型 具体内容 三星电子 数据泄露、禁用 三星内部发生三起涉及ChatGPT误用与滥用案例，包括两起“设备信息泄露”和一起“会议内容泄露”。报道称，半导体设备测量资料、产品良率等内容或已被存入ChatGPT学习资料库中。 OpenAI 数据泄露 Redis开源库bug造成ChatGPT数据泄露，导致部分用户可以看见其他用户的个人信息和聊天查询内容。泄露的信息包括订阅者的姓名、电子邮件地址、支付地址、信用卡号后四位数字和到期日期。 中国支付清算协会 禁用 支付行业从业人员在使用ChatGPT等工具时，要严格遵守国家及行业相关法律法规要求，不上传国家及金融行业涉密文件及数据、本公司非公开的材料及数据、客户资料、支付清算基础设施或系统的核心代码等。 苹果 禁用 据知情人士透露，苹果内部禁止员工使用ChatGPT和其他外部AI工具，据称是担心员工可能会泄露机密数据。 软银集团 禁用 出台使用交互式人工智能等云服务的指导方针，警告员工使用ChatGPT和其他商业应用，“不要输入公司身份信息或机密数据”。 台积电禁用发布内部公告，谨慎使用网络工具如ChatGPT或BingAIChat等提醒员工应秉持“不揭露公司信息”、“不分享个人隐私”、“不完全相信生成结果”原则。 6/31 东吴证券研究所 表1：数据泄露事件引发担忧，ChatGPT遭禁用 组织事件类型具体内容 数据来源：OpenAI官网、财联社、亿欧网、澎湃新闻，东吴证券研究所 图4：潜在的数据泄露风险可能更高（2023年2月和2023年4月，单位：人/10万人） 数据来源：Cyberhaven，东吴证券研究所 数据泄露问题难以通过传统技术手段解决。数据安全的风险