CSIG图像图形学科前沿讲习班一大模型时代的机器视觉：低空环境智能感知关键技术及应用

研究背景

低空经济产业已成为国家战略支柱产业，雄安新区作为先行先试标杆，于2024年7月发布《关于支持低空经济产业发展的若干措施》，旨在推动产业高质量发展。无人机在安防巡检、水情监测和应急搜救等领域得到广泛应用，但复杂环境下面临“看不清”、“看不准”和“看不全”的挑战。

关键平台

• VisDrone数据平台：建立了复杂环境协同感知数据平台，覆盖单机和多机协同感知任务，构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平台，为低空领域提供一站式资源入口。
• 反无人机微小目标检测数据集：通过数据、模型、场景的三维融合展示，构建百城空域的数据算法基石。

平台优势

• 智能化升级：通过AI技术赋能，实现城市巡检从传统人工模式向智能化、标准化、规模化的跨越式升级。
• 科技奖励：团队荣获吴文俊人工智能科技进步奖一等奖等科技奖励。

研究内容

多模态动态协同感知技术

• 提出局部到全局的混合专家多模态动态模型构建“模态-场景”动态感知关联。
• 基于双向Adapter的多模态追踪视觉提示框架实现出色的多模态互补性。
• 提出任务自适应门控的多模态专家协同模型解决多种类型退化干扰下融合难题。

复杂环境低代价感知技术

• 建立超过10亿图像/视频帧数据库，开发低空多模态视觉推理大模型。
• 创新提出动态兼容多任务的通用图像融合技术。
• 构建数据-标签关联，通过稀疏标签引导非对称掩码重建，实现精准无人机视频计数。
• 基于高阶预测器解耦优化的视觉基础模型推理高效微调。

智能无人集群协同感知与进化技术

• 构建TransMDOT的多机协同追框架解决多无人机单目标跟踪协同共享难题。
• 构建多机协同多目标追踪数据集以及协同追踪框架。
• 针对开放环境下的群智演化，提出兼顾专业性和通用性的社会化学习范式。
• 构建跨平台（无人机+路面摄像头）多模态（可见光+热红外）空地协同感知数据集。
• 提出针对空地协同感知任务的解耦多粒度模型，实现空地异构协同感知一体化。

研究结论

通过“数据筑基、模型驱动、智能进化、安全护航”，解决低空智能感知挑战，推动低空经济产业高质量发展，构建支撑具身智能体与集群协同进化的下一代数据基座。