核心观点与关键数据
- 讯飞AI工程团队实践：从算法工程到平台工程、应用方案落地，形成AI研发至AI落地的双循环。2020年TOP100分享的AI Serving引擎托管平台经过验证，形成持续性收益。
- 讯飞星火大模型发布挑战：通过通用大模型结合行业垂类大模型的1+N策略，支撑应用高质量落地。星火经历4次大版本发布，面临核心技术与平台工程的挑战。
- 大模型应用案例：展示大模型在多个场景的应用效果。
认知大模型技术原理
- 海量文本清洗与超大规模模型训练：数据数量和质量关键，需要高效算力支撑。
- 有监督微调（SFT）：人类反馈的强化学习（RLHF）通过清晰、具体、聚焦、简洁的Prompt，激发大模型输出。SFT后的模型可激发任意Prompt的输出。
- 基于人类反馈的强化学习（RLHF）：词语和句子的语义表现为相对稳定的“函数”，通过人类反馈优化模型输出。
大模型平台及应用工程面临的挑战
- 三个灵魂拷问：简易高效、开放包容的AI开发实践；基于大模型云+端的应用开发范式；依托通用AI平台设施构建大模型托管平台。
- Prompt工程：优质Prompt工程是LLM任务定制的关键，但深度调优适用于独立场景。
- 插件工程：开放式插件工程实现LLM三方应用扩展接入，但并非长期最优解。
- 助手应用：以助手应用实践短板+指定场景任务，加深壁垒及可玩性。基于Agent+Chains+Tools构建可处理复杂任务的助手应用2.0。
- 知识管理：知识Embedding和端到端知识管理方案提升领域效果，高价值数据及数据治理是基础。
- 大模型微调定制：通过少量样本实现推理效果更稳固的微调定制，样本规整、多样性扩散、负例定义等策略有效，Lora是开放微调的性价比路径。
一体化大模型开发平台
- 应对1+N及开源大模型开发：沉淀一体化大模型开发平台，提供一站式数据处理、预置开源大模型、模型评估、MaaS支持等。
- 推理性能优势：依托讯飞自研推理框架和标准化接口协议，具备行业领先推理性能。
稳定可靠、值得信赖的AI服务实践
- 公共开放平台挑战：满足应用场景定制性同时保障平台资源稳定性。
- 流量模型差异：自有应用与开放应用流量模型差异大，加大资源协调调度复杂度。
- 特性覆盖差异：应用间特性覆盖差异大，加大稳定性串扰。
- 多云混合云基础设施：实现大模型容量感知、分钟级弹性伸缩。
- 专有云机制：构建租户隔离、多维定制的专有云，打造稳定可靠、高效定制的大模型解决方案。
- 分级隔离：租户级集群隔离、专有运营控制、近云混合云基建、多维度深度定制，满足不同用户SLA诉求。
高性价比、追求极致的AI体验实践
- 极致优化首响时间：基于主流模型结构极致优化，兼顾成本平衡下的200ms首响时间。
- 有性价比的计算指标：定义Token时延和Token吞吐指标，兼顾性能与性价比。
- 全链路数据工程：掌握产品一手反馈，版本驱动更省心。
- 体系化大模型运营：沉淀多角度的运营指标及模板。
2024年大模型应用落地展望
- 大模型应用开发现状：以Prompt为核心、壁垒较低、可解决问题类型相对单一，需瞄准解决更复杂问题。
- AI Agent开发范式：未来处理复杂任务的路径之一。
- 智能AI原生示范应用：构建典型智能AI原生示范应用，打造更真实、更智能、更有趣的智能体示范应用开发平台。
- 核心角色与驱动器：核心角色Bob+Alice+User，AI驱动器分全托管和辅助驱动。
- 应用扩展开发平台：AIGC场景构建器、人设资源平台、AI驱动器开发平台。
结语
解放生产力，释放想象力，燎原通用人工智能的星星之火，用人工智能建设美好世界！
