Chapter 1 行业概述
端侧大模型定义为运行在设备端的大规模人工智能模型，与传统的云端大模型相比，其参数量更小，可以在设备端直接使用算力进行运行，无需依赖云端算力。AI大模型通常在数据中心或云端进行训练，使用大规模的计算资源和海量数据。相比之下，端侧大模型由于资源限制，往往需要在设计和训练阶段进行模型压缩和优化。在推理方式上，AI大模型通常运行在服务器或云端，通过强大的计算能力处理复杂的任务。然而，这种云端推理方式依赖于网络连接，会带来延迟和隐私问题。端侧大模型则是在本地设备上进行推理。
端侧大模型的发展历程可以追溯到2017年Google发布TensorFlow Lite，2018年Microsoft & Facebook发布ONNX，2019年Facebook发布PyTorch Mobile等关键节点。大模型的兴起推动了端侧大模型的发展，模型压缩与优化技术，如知识蒸馏、剪枝和量化，使得复杂的AI模型可以在资源受限的端侧设备上高效运行。硬件加速，如Google的TPU和其他厂商的NPU，以及软件框架的改进，如TensorFlow Lite和ONNX，也为端侧大模型的应用提供了支持。
端侧大模型市场的主要驱动力包括成本优势、能耗优势、可靠性、性能和时延优势、隐私和安全优势以及个性化优势。下游市场需求的强劲增长，特别是手机与自动驾驶行业的蓬勃发展，正强力拉动端侧大模型市场的扩张。2023年中国端侧大模型市场规模达8亿元，预计2024年中国端侧大模型市场将达到21亿元。
Chapter 2 产业链分析
中国端侧大模型产业链上游主要包括AI芯片供应商、云计算服务商以及数据服务商，中游为端侧大模型科技厂商和端侧科技企业，主要通过设备企业最终应用到汽车、教育等各行各业。
模型压缩技术，如知识蒸馏，是端侧大模型的关键技术，通过知识蒸馏，端侧大模型能够在保持较高性能的同时，大幅减少模型参数量和计算复杂度。AI芯片作为加速端侧大模型的关键技术，提供高效计算和能耗比，使得大规模模型在端侧设备上高效运行。
端侧大模型厂商主要通过许可费、订阅和定制化服务模式为企业客户、互联网公司和开发者提供智能化解决方案；而终端设备厂商则以硬件销售和增值服务为主，为企业和消费者提供集成端侧大模型的智能设备。
端侧大模型的应用场景包括文本场景、图像场景、音频场景、视频场景和多模态场景。业务场景按不同的设备类型分类，包括AI手机、自动驾驶和机器人。按不同的技术场景分类，包括文本生成、图片生成、音频生成、视频生成和多模态生成。
Chapter 3 行业分析
中国政府将人工智能产业视为中国国家战略核心，在端侧大模型方面展现出积极的支持立场。在AI基础设施以及生成式AI方面设立规范，整体政策环境对AI产业及端侧大模型的健康发展表现有利。
端侧大模型面临的行业壁垒包括技术复杂性、硬件限制、数据隐私和安全、开发和维护成本高、行业标准及市场应用等。
依托技术实力和生态建设，头部大模型厂商纷纷投入端侧大模型市场，利用在云端大模型领域的技术优势，商汤商量、阿里通义以及面壁智能率先在端侧大模型领域取得领先突破。未来，技术融合与创新驱动将加剧端侧大模型市场竞争。生态系统构建与合作模式的创新将成为塑造竞争格局的关键。
未来端侧大模型将在竞争与协作中与云端大模型共同推动AI技术的进步，受手机、自动驾驶和机器人等领域需求的驱动，端侧大模型将不断优化技术，并在个性化、实时响应、隐私保护等方面发挥重要作用。
Chapter 3 典型厂商分析
阿里云在端侧大模型行业的优势主要体现在高效能、低门槛和自适应性三个方面。商汤科技在端侧大模型行业的优势主要体现在技术领先与性能卓越、广泛的应用场景与解决方案等方面。面壁智能在端侧大模型行业具有高效推理能力、创新性整合多模态能力、“以小博大”的性能表现、高效低成本、广泛的设备兼容性以及强大的知识库和逻辑处理能力等优势。
