行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

GPU 编程和优化 – 最佳实践分享

2023-10-24 NVIDIA 浮云

主题演讲

GPU 编程和优化–最佳实践分享：刘冰/郑鹏分享了 CUDA 编程优化的基础知识，包括全局内存对齐、共享内存银行冲突、ILP 和 TLP 等概念，并通过案例分析讲解如何融合 MHA 和 FMHA 来提升性能。
在 NVIDIA NeMo 中实现大语言模型全周期开发 –以 LLaMa2 为例：姚鑫/颜子杰介绍了 NeMo 框架的功能和结构，并详细讲解了使用 NeMo 框架进行 LLaMa2 模型的全周期开发流程，包括预训练、微调（SFT 和 PEFT）、RLHF 和 TRT-LLM 等阶段。
TensorRT Hackathon 2023 总结：季光/陈庾回顾了 TensorRT Hackathon 的活动内容，包括初赛和复赛的赛制、赛况和成果，并总结了赛事的特点和经验。
Accelerating LLaMA Inference with Quantization in TensorRT-LLM：陈庾介绍了如何在 TensorRT-LLM 中构建和运行 LLaMA 模型，以及如何对 LLaMA 模型进行量化，包括权重量化、INT8 KV 缓存和 INT8 SmoothQuant 等方法，并展示了量化后的模型在准确性和性能方面的表现。
向量数据库的加速策略和实战：王雍/张静蓉讲解了向量数据库的加速策略，包括近似最近邻搜索（ANN）算法、GPU 加速索引技术和向量数据库的实战案例，并介绍了 RAPIDS RAFT 和 CAGRA 等工具。
推荐系统的最新优化策略和实践–以 HPS 为例：魏英灿/王泽寰介绍了 HPS（Hierarchical Parameter Server）的架构和功能，并详细讲解了 HPS 的 GPU 嵌入式推理缓存（EIC）的实现方式，包括设备锁、主机锁和无锁实现等方案，最后展示了 HPS 在不同 NVIDIA GPU 上的性能评估结果。