核心观点
随着模型小型化和扩散化趋势加剧,模型间连接成为关键增长点,相关企业有望迎来爆发式增长,类似于光模块行业。云天励飞在模型间连接领域具备领先优势,主要通过以下技术实现高效连接:
关键技术
- D2D Chiplet技术:通过在多die间构建“高速公路”,实现算力灵活扩展,支持一次流片、多次封装,生产不同规格芯片,且不牺牲时延。
- C2C Mesh互联扩展技术:优化计算节点间传输延迟,确保大模型推理时延最短,支持不同规格大模型灵活部署。
- 异构多核软件栈:
- 设计高效异构多核syslink通信库,实现D2D/C2C数据搬运管理、Mesh互联下的统一内存调度和模型分布式并行管理。
- 支持集群级大模型部署。
- 统一工具链:
- 打造一站式工具链,通过分布式并行策略、硬件流水线排布、先进量化策略和多机并行编译机制,支持千亿级大模型快速部署。
研究结论
云天励飞凭借上述技术体系,在大模型连接领域具备核心竞争力,有望成为行业“大牛”,实现类似光模块的规模化增长。