大模型时代生产力工具转型的技术探索_詹明捷

核心观点与关键数据

• 人工智能新范式（AGI）已经到来：大模型使能的AGI与传统AI处理任务对比，展现出更强的能力。
• 大模型核心能力：架构设计、分布式训练等，技术路线演化中GPT类模型处于领先。
• 大模型关键技术路径：
  • Encoder类模型（BERT为代表）：通过fine-tune提升性能，OpenAI坚持生成式任务目标实现突破。
  • Decoder-Only类模型（ChatGPT为代表）：更关注zero-shot文本生成能力，结构效率更高，OpenAI通过系统工程角度提升训练效率。
  • 训练成本与路径依赖：大模型训练成本极高，企业组织因历史原因多沿用自身验证路线。

技术路线对比

• Encoder-Decoder or Encoder-Only (BERT类)：
  • 训练方式：Masked Language Models。
  • 模型类别：Generative。
  • 预训练任务：Predict next word。
• Decoder-Only (GPT类)：
  • 训练方式：Autoregressive Language Models。
  • 模型类别：Discriminative。
  • 预训练任务：Predict masked words。

思维链与多任务训练

• 思维链：激发语言模型解锁更强的推理能力，右侧图绿色部分为思维链。
• 多任务训练与指令微调：提升模型复杂任务处理能力。

下一代软件开发范式：AI FOR AI

• AI是生产生产力工具的工具：AI FOR AI推动软件开发变革。
• 智能化、模块化、标准化的AI生产工具：
  • AI辅助开发：一键调度大算力、数据驱动、快速部署。
  • 软件开发角色：
    • 分析师：制定高层次计划，分解任务。
    • 程序员：编写代码，修复细化代码。
    • 测试员：生成测试报告，而非直接生成测试用例。

新二八定律与软件开发新体验

• 新二八定律：代码 = 80% AI生成 + 20% 人工。
• 软件开发体验变革：人类需求满足方式和底层依赖发生变化，编程逻辑变革。

生成式AI技术延展

• 延展应用：
  • 用代码解决视觉问题。
  • 基于多仓库融合的代码生成。
  • 基于代码解决数学题。

联系方式

• 如有兴趣进一步了解商汤AI代码助手，可联系：sensecode@sensetime.com。