IDEA_研究院预训练大模型的_AI_系统实战_陈崇沛

GTSfactory：预训练模型的AI系统实战

当下架构问题

• 20年技术变迁：从J2EE到大型企业管理软件，再到Dubbo服务化架构，Spark大数据架构，最后到预训练大模型架构。
• AI架构变迁：随着技术进步，AI架构不断演进，从单体架构到微服务架构，再到LAMDA架构，现在转向以预训练大模型为基础的架构。

两类模型，两个答案

• 预训练模型：数量达到万级，但生产成本高、难度大、中文模型少。
• 定制化模型：数量达到亿级，但存在人才稀缺、数据稀缺等问题。

GTSfactory解决方案

• 自动化生产平台：旨在解决预训练模型的高成本和低效率问题，通过自动化学习和小样本学习来应对人才和数据挑战。
• 效果：GTSfactory生产的模型在FewCLUE等基准测试中接近人工最佳水平，甚至优于部分人工模型。

大模型时代

• 大模型规模：当前最大模型参数达10万亿，远超人脑神经元数量。
• 挑战：大模型训练面临显存瓶颈、训练时间长等挑战。

封神榜开源大模型体系

• 模型种类：涵盖文本生成、文本理解、多模态等多种结构。
• 合作：与清华大学、上海交通大学等高校合作，共同推进大模型开源。

GTS模型生产平台

• 核心功能：支持多模型协作，实现模型自动化生产。
• 系统设计：包括任务编排、多云算力交互、三级调度机制等。

预训练大模型生产系统

• 支持框架：TensorFlow、PyTorch、OneFlow等。
• 训练框架：Fengshenbang-LM，支持高效训练和优化。

未来设想

• 下一代模型：训练和部署系统将更加智能化，支持动态结构和稀疏激活。
• 算力池：构建多云混合基础架构，提高算力稳定性和灵活性。

关键数据

• 算力资源：80台DGX服务器，640张A100 GPU，具备8位计算精度下400P算力，32位计算精度下100P以上算力。
• 模型参数：最大模型参数达到10万亿，封神榜模型参数从7.7亿到13亿不等。
• 训练数据：原始数据24TB/月，训练数据300GB/月。