4-1 决策智能：任务与技术概览

决策智能概述

任务类型

1. 预测型任务

   • 根据数据预测所需输出（有监督学习）
   • 生成数据实例（无监督学习）

2. 决策型任务

   • 在静态环境中优化目标（优化问题）
   • 在动态环境中采取行动（强化学习）

技术分类

1. 运筹优化（Operational Research）

   • 生产排期等任务，适用于白盒环境，目标明确。

2. 黑盒优化（Black-box Optimization）

   • 如工业制造参数优化，环境复杂，无显式解。

3. 序贯决策（Sequential Decision Making）

   • 强化学习，适用于动态环境，如机器狗操控。

强化学习基础

1. 定义

   • 通过从交互中学习实现目标。
   • 包括感知、行动、目标三个核心元素。

2. 交互过程

   • 每步智能体接收观察、执行行动并获得奖励。
   • 环境响应行动，提供新的观察和奖励。

3. 关键概念

   • 价值函数：衡量长期奖励期望。
   • 策略：指导智能体选择行动。
   • 环境：定义状态转移和奖励规则。

深度强化学习

1. 兴起背景

   • 2012年AlexNet在ImageNet比赛中获胜。
   • 2013年首次深度强化学习论文发表。

2. 技术进展

   • 使用深度神经网络进行价值函数和策略近似。
   • 端到端解决复杂问题，如Atari游戏。

3. 应用实例

   • DQN在Atari游戏中表现优异。
   • 多智能体决策大模型（如MADT和Gato）。

落地场景

1. 无人驾驶
2. 游戏AI
3. 交通灯调度
4. 网约车派单
5. 组合优化
6. 推荐搜索系统
7. 数据中心节能优化
8. 对话系统
9. 机器人控制
10. 路由选路
11. 工业互联网

挑战与展望

1. 人机交互

   • 强化学习赋予AI更多决策权，需更高精度和安全性。

2. 任务多样性

   • 各种场景要求不同的算法和数据支持。

3. 计算资源

   • 大量试错学习机制需要大量数据和算力支持。

4. 通用计算平台

   • 需要高效的服务强化学习的计算平台。