热门搜索：

英特尔：2023云原生产业大会构建可信AIGC云原生应用

电子设备2023-12-01-英特尔软件与先进技术事业部向***

AI智能总结

构建可信AIGC云原生应用

1. 机密容器（Confidential Containers）

CNCF沙箱项目：2022年3月成为CNCF沙箱项目，获得广泛业界支持。
应用场景：利用Hardware TEE保护应用/模型/数据，基于远程证明构建信任，将基础设施服务提供者排除在可信计算基（TCB）之外，提供新的安全上云范式。
设计原则：
- 容器和K8S生态：聚焦于应用，强调弹性与高密度。
- 易用性：无需应用修改，容易部署和运维，与各种云服务无缝集成。
- 端到端零信任覆盖：涵盖运行时、存储、网络和secrets。

2. 技术路线图

https://github.com/confidential-containers

3. 安全加固

基于硬件TEE的安全性：增强容器运行时的安全性。

4. 英特尔®平台的可信AIGC能力

高级矩阵扩展 (Advanced Matrix eXtensions)：
- 第四代英特尔®至强®CPU Max。
- Intel® Extension for PyTorch* 大语言模型优化：
  - 针对大语言模型进行了大量定制优化。
  - 更高效的LLM定制化GEMM内核，充分发挥AMX和DDR5的性能。
  - Indirect access KV cache优化MHA计算瓶颈。
  - 激进的面向LLM典型结构的算子融合算法。
  - 支持多种低精度数据类型，包括BF16, INT8, INT4。
  - 内置多CPU/多节点扩展支持，弹性扩展性能和性价比。
生态系统库：
- oneDNN, OneMKL, oneCCL, SYCL, Intel® Extension for PyTorch*, PyTorch, Triton, Torchvision, TorchServe, Deep Learning Framework, TorchRec。
大模型推理性能：第四代英特尔® 至强® 可扩展处理器支持1B ~ 13B的大模型推理。

5. 未来潜力

英特尔®信任域扩展 (Trust Domain eXtensions)：
- VMM, Intel Xeon (TDX), Intel® TDX虚拟机级别TEE, AppGuest OS, App, AppVMM, Intel® TDX Connect, 异构TEEs, Confidential Computing Device (GPU, Accelerator等), Intel Xeon (TDX Connect), TDT, DTD (Trust Domain), TD (Trust Domain)。

6. 应用场景

公有云：保护关键模型/IP。
私有数据中心：同样保护关键模型。

构建可信的AIGC云原生应用刘秉伟英特尔软件与先进技术事业部系统软件高级总监 2023年12月1日构建可信AIGC云原生应用机密容器（ConfidentialContainers) 英特尔®平台的可信AIGC能力构建可信AIGC应用容器运行时安全的演进 CNCF沙箱项目-ConfidentialContainers(CoCo) 机密计算 •利用HardwareTEE保护应用/模型/数据 •基于远程证明构建信任 •把基础设施服务提供者排除在可信计算基（TCB）之外 •提供安全上云的新范式云原生 •容器和K8S生态 •聚焦应用 •弹性 •高密状态 •广泛的业界支持 •2022年3月成为CNCF沙箱项目 •完整的安全特性 •应用场景驱动设计原则 •易用无需应用修改 •容易部署和运维 •非常容易和各种云服务集成 •Pod级TCB，IT运维人员天然不可信 •端到端零信任覆盖运行时/存储/网络/secrets CoCo项目的技术路线图基于硬件TEE的安全加固 https://github.com/confidential-containers 构建可信AIGC云原生应用机密容器（ConfidentialContainers) 英特尔®平台的可信AIGC能力构建可信AIGC应用英特尔®高级矩阵扩展(AdvancedMatrixeXtensions) 第四代英特尔®至强®CPUMax Intel®ExtensionforPyTorch*的大语言模型优化 Intel®ExtensionforPyTorch*是英特尔提供的基于PyTorch的扩展库 OpenModels Llama2GPT-JOPTFalconStarCoderBLOOM StableDiffusion •针对大语言模型做了大量定制的优化 Torchvision TorchServe EcosystemLibraries TorchRec PyG •更高效的LLM定制化GEMM内核来充分发挥AMX和 DDR5的性能 •IndirectaccessKVcache优化了LLM的MHA计算瓶颈 DeepLearningFramework Intel®ExtensionforPyTorch •更激进的面向LLM典型结构的算子融合算法 •多种低精度数据类型支持来更好的满足各种应用场景 •BF16,INT8,INT4 Triton SYCLoneDNNoneCCLoneMKL •内置多CPU/多节点扩展支持，弹性扩展性能和性价比英特尔®至强®处理器加速大模型推理性能 FuturePotential 第四代英特尔®至强®可扩展处理器很好的支持1B~13B的大模型推理英特尔®信任域扩展(TrustDomaineXtensions) Intel®TDX 虚拟机级别TEE TD(TrustDomain) Intel®TDXConnect 异构TEEs App App GuestOS VMM IntelXeon(TDXConnect) TrafficProtectedbyIDE ConfidentialComputingDevice(GPU,Acceleratoretc.) TDI TD App TD(TrustDomain) App App App GuestOS VMM IntelXeon(TDX) TD 构建可信AIGC云原生应用机密容器（ConfidentialContainers) 英特尔®平台的可信AIGC能力构建可信AIGC应用公有云上构建可信AIGC应用保护关键模型/IP 私有数据中心上构建可信AIGC应用保护关键模型

点击免费查看完整报告