AIoT 2.0重塑智能硬件
智能设备的重塑
AIoT 2.0推动智能设备实现“听懂、看懂、思考”，通过大模型从云到端侧部署，赋予设备更强的感知、理解和自主决策能力。边端侧部署的必要性在于满足实时性、隐私安全和泛化能力的需求，同时融合感知理解、自主规划、工具调用等功能。
大模型端侧部署的优势
- 隐私安全：敏感数据“不出端侧”，建立用户信任。
- 实时性：毫秒级响应，满足工业控制和自然交互场景。
- 自主分析：异常检测、边界问题解决，应用包括视频分析、工业检测、语音处理。
- 带宽成本：端云结合产品仅传输需深度思考数据，全端侧产品无持续云端Token需求。
- 可靠性：无网弱网可用，不依赖网络，稳定可靠。
- 小参数大模型：ASR、TTS、翻译、视觉编码、OCR、多模态、3D深度估计等模型层出不穷。
- 小参数大模型能力迅速变强：Qwen 3.5-4B > Qwen3-VL-8B > Qwen2.5-VL-14B。
大模型端侧部署的挑战
- 性能需求：模型精度挑战需量化方案支持，生态挑战需主流模型支持和厂商合作。
- 带宽需求：Transformer架构/Attention机制支持超大带宽，传统SoC物理极限受限。
- 功耗挑战：AI算力功耗和DRAM访存功耗导致设备发热、降频。
- 商业化挑战：晶圆面积限制影响芯片性能和成本，外挂DDR容量及成本制约。
突破“内存墙”和“能耗墙”
- RK182X芯片：采用3D堆叠技术，将DRAM堆叠在NPU逻辑晶圆之上，突破带宽瓶颈。
- 高密度TSV/Hybrid Bonding：数万个微米级垂直数据通道，等效带宽达数百GB/s。
- 内置DRAM：无需外挂DDR，布板简单，面积小。
- 性能：3B模型推理输出超100TPS，能效比远高于普通SoC。
- 能耗：单位比特能耗量级降低，电池续航更久。
瑞芯微AIoT 2.0产品生态
- 从“听清”到“听懂”：
- AIoT人机交互：理解意图、连续对话、主动建议、自动完成任务、个性化回应。
- 体验升级：智能家居（私人管家）、智能办公（专属秘书）、智能车载（副驾伙伴）、智能机器人（自主助理）。
- 从“看清”到“看懂”：
- AIoT视觉优势：高清画质、精准识别、快速反应。
- AIoT视觉局限性：无环境、行为、事件分析能力，易误报，检索效率低。
- 体验升级：视频分析（主动预警、分析总结）、事件检索“一键即达”。
RK182X应用方向
- 双轨研发策略：主控+协处理器，主控聚焦通用任务，协处理器聚焦AI算力和带宽。
- 商业模式：解耦算力与控制，研发成本低，生命周期错配问题解决，成本优势明显。
- 无缝升级：可选配不同算力的模组，仅升级协处理器模块，无需整机重设计。
- 性能：RK1828典型LLM/VLM性能，RK182X典型ViT/CNN性能，模型精度保持。
- 模型支持：全面支持LLM、视觉类ViT/CNN、语音模型、多模态/视觉语言模型(VLM)、向量嵌入与重排序(Embedding &Reranker)、RAG核心组件。
RKNN3 SDK开发
- 开发路径：软硬件验证->模型转换->精度仿真->板端验证->部署优化。
- 组成：RKNN3 Toolkit (PC Tool)、用户层API库(Python, C/C++, OpenAI接口)、RKNN3 Runtime、模型仓库：CNN/ViT/LLM/VLM...Model Zoo。
