汽车行业深度报告：AI系列深度07期：CNN与ViT两类视觉骨干有何差异？

视觉骨干网络演进与CNN、ViT对比分析

视觉骨干网络核心作用

视觉骨干网络是机器视觉系统的核心模块，负责将原始像素转化为高层语义特征，并决定分类、检测、分割等下游任务的性能上限。其作用是提取可被分类、检测或分割任务调用的特征，表征质量直接影响下游任务表现。

视觉架构演进历程

视觉架构演进大体经历四个阶段：

1. 手工特征时代：依赖专家设计的视觉描述子，如SIFT、HOG等，但跨任务迁移能力弱，难以随数据规模扩展。
2. CNN崛起：深度网络自动学习视觉特征，如AlexNet、VGG、ResNet等推动CNN成为主流架构，通过深度、宽度和结构效率持续演进。
3. ViT登场：注意力机制进入视觉，将图像切分为patch并输入Transformer编码器，在谷歌内部JFT-300M大规模数据集上预训练后超越强CNN模型。
4. 融合时代：Swin Transformer、CoAtNet、ConvNeXt等推动CNN与ViT相互吸收，进入融合阶段。

CNN机制与设计先验

• 核心机制：卷积、池化与任务头，卷积检测局部模式，池化降采样增强局部稳定性，任务头完成预测。
• 设计先验：局部连接、权值共享、平移等变性，这些先验提升了样本效率和训练稳定性，使CNN在中小数据集和端侧任务中仍具竞争力。

ViT机制与弱先验

• 核心机制：Self-Attention机制，每个输入元素生成Query、Key、Value向量，通过Query与Key计算相似度获得注意力权重，实现全局交互。
• 设计特点：图像切分为patch并投影为token序列，输入Transformer编码器，通过位置编码保留位置信息。
• 弱先验：模型几乎不内置局部性和平移等变性，小数据条件下表现不及CNN，但在大规模预训练下更具扩展空间。

CNN与ViT的四组分歧

1. 感受野：CNN逐层扩大，ViT首层全局交互。
2. 归纳偏置：CNN强先验，ViT数据驱动。
3. 数据效率：中小数据集CNN更优，大规模预训练ViT扩展性更强。
4. 计算复杂度与部署：CNN计算量线性增长，部署生态成熟；ViT自注意力计算量平方增长，纯ViT部署生态仍在追赶。

核心争议与结论

• ViT优势争议：早期优势是否来自更大数据和现代训练策略，ConvNeXt证明纯卷积架构仍可追平部分ViT表现。
• 归纳偏置价值：数据稀缺时先验是资产，数据和算力充足时可能成为约束。
• 动态平衡：视觉骨干并不存在统一最优解，关键在于任务、数据、算力和部署约束的匹配。

产业落地分工

• 研究前沿：多模态大模型和研究前沿普遍采用ViT或类Transformer视觉编码器，如CLIP、SigLIP、Qwen-VL等。
• 自动驾驶量产：受车端算力、时延和安全约束影响，更多采用CNN前端、BEV/Transformer融合和混合骨干。

风险提示

• 技术迭代不及预期
• 大模型厂商ARR增速放缓
• 云服务商资本开支不及预期
• 智能驾驶及机器人商业化落地不及预期