路宁-驾驭大模型开发真实项目代码

大模型辅助开发生态

核心观点与关键数据

开发真实需求的挑战

• 任务难度差异：主干任务难度远超支撑性任务。例如，SWE-Bench评估集中，18%的任务仅1行改动，30%在2行以内，但20+行改动的占7.3%。项目多为纯Python库，如django和pytest。
• 独立函数级任务：评估集中的任务多为较为独立的函数级任务，使用JS开发Web Server的效率提升达55%。
• 实际项目任务复杂性：与面试题相比，实际项目任务更复杂，需要考虑代码集成、设计约束、新能力实现等细节。最佳生成效果需通过手工实验，以目录结构+代码文件+任务描述作为提示词起点，并人工规划任务步骤。

切换到知识生产和消费的思维框架

• 依赖经验知识的编码任务：
  • 利用“通过框架完成任务的方描述”将经验融入代码上下文，降低推理负担。
  • 利用“相关任务的实例化经验”通过具体任务实例（changelist）刻画设计约束下的实现细节，供其他任务参考。
• 知识分类及提示词框架：
  • 产物知识：流程中以产物形式显性表达的知识。
  • 经验知识：生产产物知识过程中使用的隐性经验。
  • 衍生数据知识：程序运行时的数据及基于代码分析的数据，用于知识相关性计算或直接提升任务效果。
  • 提示词框架：在什么上下文下，应用什么样的经验，完成什么样的任务。

大模型辅助开发的实用形态

• 工具能力与工程师角色：探讨工具能做到什么程度，知识工程+Agent工程师是否需要裸用大模型，工程师是否必须驾驭大模型，人的精力能被释放到什么程度，以及多大比例的效率提升比较现实，个人维护知识工程是否可行。

研究结论

1. 主干任务难度远超支撑性任务。
2. 从知识生产和消费的角度思考编码任务。
3. 遵循设计是重要挑战。
4. 从历史记录中加工经验知识。
5. 知识分类指导知识工程建设。