张鹏-AISecOps 软件供应链管理实践

AISecOps软件供应链管理实践 张鹏@JFrog 解决方案架构师 张鹏 JFrog解决方案架构师 专注于DevSecOps解决方案设计与实施，具有丰富研发和云服务经验，负责JFrog中国南区及港澳台区域业务，具有丰富的银行、证劵、科技等行业的DevSecOps建设实践经验。 01AI时代的DevSecOps变革 contents 目02制品库的“多类型”&“大模型”管理实践 录 03制品库的“软件供应链安全”管理实践 04Demo&案例 PART01 AI时代的DevSecOps变革 GOPS全球运维大会2024·深圳站 关于JFrog JFrog软件供应链管理平台 •Artifactory（30+制品管理，Huggingface） •Xray（18+制品扫描） •Curation（OSS引入管理） •JFrogAdvancedSecurity（SAST） •RuntimeSecurity（保持关注） 变革：世界仍在OSS上运行？ 代码二进制文件 引入开发打包晋级分发部署运行 观点&思考 “我们正处于AI的起跑线上，每个行业都将被革命” “苹果或因AI取消了电动汽车计划” “DevSecOps实践将为AI/ML开发和安全提供宝贵经验” PART02 制品库的“多类型”&“大模型”管理实践 上一代软件管理方式 开发团队开发团队开发团队开发团队开发团队开发团队 1.研发团队 使用多种私服账号构建速度慢 统一代码库 3.测试团队版本信息不透明 版本缺乏质量信息 2.安全团队漏洞发现难影响定位难 私有云 公有云 统一持续集成 FTP/SVN Maven库Nexus NPM库NPM Docker库Harbor C#,.Net库Nuget 4.运维团队高可用性维护难 从研发到生产传包慢 容器云 “最早的问题是FTP/SVN，最新的问题也是” 为什么需要PrivateHuggingfaceHub “类似于PrivateGithub、PrivateDockerhub，也需要PrivateHuggingfaceHub” https://huggingface.co/blog/introducing-private-hub 通过与ML/DataSci团队的数千次对话，有了对构建ML面临的最常见问题和挑战的独特视角： 重复的工作、不良的反馈循环、跨团队协作的高摩擦、非标准流程和工具以及生产模型优化困难。我们不再提供PrivateHub本地部署。 AI/ML与传统软件研发的异同 角色不同，目标一致，并行“构建”过程与“结果”，带来版本管理的复杂性和ML效率问题 https://jfrog.com/blog/ml-model-versioning/ 如今AI/ML模型版本管理的问题 •使用S3存储桶 这会让数据科学家自行命名每个上传，这通常会导致命名不一致、File_Name_Final_Final_Final难题，甚至丢失文件。 •使用Git 数据科学家和工程师只需在Main分支上堆叠Commit，利益相关者可以看到以前的提交，但没有简单的方法可以知道他们每次提交会得到什么，因为名称只是一组随机字符。 “基于FTP/SVN的手工作坊又回来了” Artifactory“多类型”和“大模型”使用场景 1.研发依赖管理（多地同步） 多种语言包的管理能力，Maven、Docker、Python、Conda、Huggingface模型上传下载 2.大文件管理（本地上传下载） 对比FTP具有去重存储和上传，降低存储和传输成本，高可用，灵活权限管理和API集成单机制品库上传速度上限为1000MB/s 单机制品库下载速度为880MB/s（客户端数量不足，理论能打满带宽）横向扩展制品库节点，可以倍数提高上传和下载速度 3.E+制品分发（边缘就近下载） 通过ReleaseBundle分片分发，GPG签名保护下载权限分发制品传输速度为100MB/s（两地互联网带宽限制） 对比FTP/S3 -并发下载可打满80-100%带宽 JFrogAI/ML模型版本管理方式 1.更好的存储和性能，替换FTP/S3 2.模型管理版本化 3.元数据可视化 4.存储空间可清理 5.易于分享模型 6.晋级模型，而无额外存储成本 7.同步模型到生产环境，而无额外网络成本 8.模型安全扫描 https://jfrog.com/blog/ml-model-versioning/ JFrogAISecOps集成架构 例如JFrog与Qwak集成的完整AISecOps解决方案，可实现团队之间的无缝交叉协作。 1.将所有模型、制品集中在唯一可信源中 2.减少外部服务中断或消除公共存储库中模型或包版本的潜在风险 3.管理和限制对外部私有或公共存储库的访问，确保用户只能使用经过批准的源 4.为利益相关者提供有关公司内部使用的内容的全面透明度 JFrog+Qwak-https://jfrog.com/blog/advancing-mlops-with-jfrog-and-qwak/ JFrog+AWSSageMaker-https://jfrog.com/blog/integrating-jfrog-artifactory-with-amazon-sagemaker/ PART03 制品库的“软件供应链安全”管理实践 利用ChatGPT的新型攻击 3、发布恶意包 攻击者 包存储库 1.问题 2.回复不存在的包 6.npminstall 7.恶意代码执行 4.问题 ChatGPT 5.回答带有恶意包名称 开发者 https://jfrog.com/blog/analyzing-common-vulnerabilities-introduced-by-code-generative-ai 使用Huggingface的数据科学家成为攻击目标 JFrog安全研究团队开发了扫描环境，每天多次严格检查上传到Huggingface的每个新模型 https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/ PART04 Demo&案例 GOPS全球运维大会2024·深圳站 THANKS！ JFrog公众号 讲师微信