6.1 计算机视觉简介及发展历史
定义与重要性： 计算机视觉是人工智能的重要分支，旨在让机器“看”并理解世界，核心任务是从图像和视频数据中提取有意义的信息。人类获取的信息大部分通过视觉系统，因此视觉感知是AI的关键研究方向，对实现人机交互、智能制造、自动驾驶等关键技术至关重要。
发展历史：
- 20世纪50年代： 二维图像的分析与识别，奠定生物视觉和计算机视觉基础，发明首台数字图像扫描仪。
- 20世纪60年代： 聚焦三维视觉理解，提出从二维图像提取三维信息的方法，推动计算机视觉作为独立科学领域发展，发明CCD提高数字图像采集效率。
- 20世纪70年代： 理论体系的系统化构建，大卫·马尔提出“计算视觉”理论，描述视觉信息处理的阶段性模型。
- 20世纪80年代： 独立学科确立，理论向应用飞跃，推出首套工业光学字符识别系统，杨立昆改进卷积神经网络提出LeNet-5模型。
- 20世纪90年代： 特征对象识别成为研究重点，运用图论算法进行图像自动分割，提出尺度不变特征变换（SIFT），NVIDIA推出GPU开启并行计算和图像处理新纪元。
- 21世纪初： 聚焦图像特征工程，构建拥有标注的高质量数据集，提出实时人脸检测框架、基于HOG的行人检测方法、空间金字塔匹配方法，Pascal VOC数据集推出，辛顿等人引入“深度学习”概念。
- 2010年至今： 进入深度学习时代，ImageNet数据集与挑战赛推动深度学习快速发展，AlexNet赢得ImageNet竞赛，标志着深度学习成为计算机视觉核心技术。生成对抗网络（GAN）革新图像生成技术，PyTorch和TensorFlow成为主流工具，Mask R-CNN和特征金字塔网络（FPN）取得重大进展，Vision Transformer（ViT）和扩散模型成为新范式，Segment Anything Model（SAM）在视觉分割领域取得突破。
6.2 图像增强
图像获取时面临的质量问题： 光照不足、摄像设备限制、传输干扰。
图像增强目的： 提高图像清晰度，突出有用信息，压缩或去除无用信息，使图像更符合人眼视觉习惯或便于机器解析。
广泛的应用场景： 医疗图像增强、监控系统图像处理、遥感图像分析等，作为目标识别、跟踪、特征匹配、图像融合等高级图像处理算法的预处理步骤。
早期阶段的信号处理技术： 时域处理方法（滤波技术、非凸低秩优化策略、直方图均衡化等）和频域处理方法（傅里叶变换、小波变换等）。
深度学习的引入： 单域网络架构原理（针对单个图像域进行训练，如空域或频域）和时域与频域结合方法。
图像领域关键任务： 图像超分辨率、低光照图像增强等。
图像超分辨率：
- 任务描述： 从低分辨率图像中重建出高分辨率图像，保留和恢复原始图像中的细节和纹理信息。
- 难点分析： 图像细节丢失、图像噪声、算法复杂度高。
- 经典方法： SRCNN（首个成功用于图像超分辨率的深度学习模型）、VDSR（通过残差学习加速训练，提升细节恢复能力和训练效率）、RDN（通过残差密集块实现每层特征的充分利用，提升超分辨率性能）。
- 应用： 游戏画面流畅性提升、修复老照片、扩大图片尺寸及智能修复图像破损。
- 未来发展趋势： 更大超分辨率倍数的探索、实时超分辨率重建、模型的可解释性。
低光照图像增强：
- 任务描述： 在低光环境下改善图像亮度和对比度，使图像更加清晰。
- 技术应用： 夜间摄影、安全监控、自动驾驶等领域。
- 经典方法： RetinexNet（基于Retinex理论的深度学习改进版，通过两个子网络分别处理反射率和光照分量）、Zero-DCE（无需参考图像的低光图像增强方法，通过像素级曲线估计调整图像亮度和对比度）。
- 应用： 阿里达摩院研发的车载摄像头ISP处理器提升夜间车载摄像头的图像识别能力。
- 面临的挑战： 鲁棒性与泛化能力、实时处理与资源效率、多模态数据融合、自适应增强技术。
6.3 图像分类
图像分类目的： 将输入的图像分配到一个预定义的类别集合中。
广泛的应用场景： 自动驾驶中的行人识别、医学图像中的疾病检测、农业中的病虫害识别等。
传统图像分类方法： 数据预处理、特征提取（如SIFT、HOG等）和分类器的训练（如支持向量机、K-近邻等）。
深度学习的崛起： 深度学习模型（如AlexNet、VGGNet、ResNet等）可以自动从图像中学习层次化的特征表示，极大提高了图像分类的准确性和效率。
图像分类的实际应用： 人脸识别（如杭州萧山国际机场）、医疗影像诊断（如腾讯觅影团队研发的基于深度学习的青光眼分类模型）。
细粒度图像分类：
- 定义： 在大类别中进一步细分到子类别，识别具有细微差异的物体。
- 挑战： 环境因素干扰分类结果，如何让模型学会区分细微差别并保持高准确性。
- RA-CNN： 通过递归注意力机制在多阶段、多尺度下提取图像特征并聚焦关键区域，有效捕捉到细微的区分特征。
- 当前进展： ViT模型的引入（通过自注意力机制捕捉图像中的全局信息，在细粒度分类任务中表现优异）。
- 未来的研究方向： Transformer与CNN结合的可能性、大规模、高质量数据集的构建。
6.4 目标检测
目标检测的定义： 从图像或视频中识别出感兴趣的目标对象，并确定这些目标的位置和类别。
广泛的应用场景： 智能监控、自动驾驶、医疗影像分析等。
目标检测与图像分类的区别： 输出结果不同（目标检测输出目标的位置和大小，图像分类输出图像所属类别）、处理对象不同、算法复杂度不同。
目标检测技术的发展：
- 传统目标检测方法： 通过某种策略选取可能包含目标的候选区域，提取特征，利用分类器进行识别与分类。
- 深度学习的兴起： R-CNN和YOLO等模型的出现带来了显著突破。
经典方法：
- R-CNN与Fast R-CNN： R-CNN通过候选区域生成、特征提取和分类识别三个步骤组成，Fast R-CNN引入RoIPooling层提高检测速度，采用联合多任务损失优化分类和回归。
- YOLOV4： 单阶段目标检测模型，结合高效的检测速度和较高的精度，主要结构包括骨干网络、颈部网络和头部网络。
- DETR（Detection Transformer）： 基于Transformer的单阶段目标检测方法，通过ResNet提取图像特征，再利用Transformer编码器进行全局上下文编码，解码器通过目标查询生成边界框和类别标签。
目标检测的挑战： 目标的多样性（小目标检测困难、遮挡目标、低对比度目标）、环境的多变性、计算资源的高要求。
未来发展方向： 算法的轻量化与高效性、数据标注自动化。
6.5 图像分割
图像分割的目标： 将图像划分为多个具有特定意义的区域，实现像素级别的分类和定位。
子领域分类： 实例分割（识别不同类别的物体，区分同一类别下的不同实例）和全景分割（既识别并分割出不可数的背景元素，也精确区分并标记出可数的前景物体实例）。
图像分割的应用： 医疗影像分析、自动驾驶、机器人导航等。
算法分类：
- 基于全卷积网络的模型： 将传统卷积神经网络中的全连接层替换为卷积层，实现端到端的像素级预测，代表模型：FCN、U-Net等。
- 编码器-解码器结构： 编码器部分提取图像特征，解码器部分逐步恢复空间分辨率和细节信息，代表模型：SegNet、DeepLab系列、PSPNet等。
- 空洞卷积（Dilated/AtrousConvolution）模型： 通过空洞卷积增加感受野，保留更多的空间信息，代表模型：DeepLab系列等。
- Transformer模型： 通过自注意力机制有效捕捉了全局上下文信息，代表模型：SETR、SegFormer等。
经典方法：
- 全卷积网络（FCN）： 首次实现了端到端的像素级分类，通过跳跃连接融合多层次的特征信息，生成更加精细的分割轮廓。
- DeepLab系列模型： 结合空洞卷积和全连接条件随机场，解决了语义分割中的分辨率损失和对象边界不精确的问题，DeepLab-v2引入ASPP模块提升多尺度特征表示，DeepLab-v3及v3+进一步采用编码器-解码器结构，显著提升了分割精度和边界细节处理。
6.6 三维视觉
三维视觉的目标： 通过摄像头从不同角度获取同一场景的多幅图像，利用这些图像之间的视差信息重建出场景的三维结构或深度信息。
三维视觉任务及应用： 图像采集、预处理、特征提取、立体匹配、视差计算、深度图生成和三维重建，广泛应用于自动驾驶、机器人导航、智能制造等领域。
三维视觉任务概览： 深度估计、三维重建等。
深度估计：
- 定义： 从二维图像中推测出场景中物体的三维深度信息。
- 分类： 基于单目视觉的深度估计、基于双目立体视觉的深度估计、基于多视图的深度估计、基于激光雷达的深度估计。
- 经典方法： 基于深度学习的单目深度估计网络（强调全局特征在深度估计中的重要性）、金字塔深度估计网络（PSMNet）（利用全局上下文信息实现双目深度估计）。
三维重建：
- 目标： 捕捉环境中物体的立体信息，确定不同物体的空间位置，并构建相应的空间模型。
- 分类： 主动式三维重建方法（基于激光雷达、基于结构光）和被动式三维重建方法（单目图像法、多视图法）。
- 应用领域： 建筑和工程领域、电影和视频游戏产业、工业产品质量控制。
- 经典方法： MVSNet（开创了用深度学习进行多视图三维重建的先河）、NeRF（通过全连接多层感知机将场景建模为空间位置和视角方向的联合函数，生成高质量的场景图像）。
