百度云智大会20240925

百度云智大会20240925_导读 2024年09月26日06：39 关键词 大模型云计算算力GPU模型训练推理效率资源层组件层加速层工具层开发模型百度文心生数科技多模态大模型视频生成并行计算百度微度猫眼电影广告行业 全文摘要 在202400度云智大会中，百度集团展示了其最新发布的算力管理平台百度4.0，该平台专注于解决大模型训练与推理过程中遇到的算力需求、训练效率与稳定性问题。通过优化技术架构，百度4.0实现了资源层、组件层、加速层与工具层的高度协同，可以快速部署训练集群，从而提高大模型训练的稳定性和效率，同时降低推理成本。该平台不仅支撑了百度自家大模型的研发，也向外部客户提供了高效的算力支持，标志着大模型技术创新与商业应用的新方向。 百度云智大会20240925_导读 2024年09月26日06：39 关键词 大模型云计算算力GPU模型训练推理效率资源层组件层加速层工具层开发模型百度文心生数科技多模态大模型视频生成并行计算百度微度猫眼电影广告行业 全文摘要 在202400度云智大会中，百度集团展示了其最新发布的算力管理平台百度4.0，该平台专注于解决大模型训练与推理过程中遇到的算力需求、训练效率与稳定性问题。通过优化技术架构，百度4.0实现了资源层、组件层、加速层与工具层的高度协同，可以快速部署训练集群，从而提高大模型训练的稳定性和效率，同时降低推理成本。该平台不仅支撑了百度自家大模型的研发，也向外部客户提供了高效的算力支持，标志着大模型技术创新与商业应用的新方向。此外，百度还推出了基于UVIT架构的全球首个视频大模型飞度和微度产品，它们在生成高质量视频和满足快速响应需求方面表现出色。通过与客户合作，如中国邮政储蓄银行和长安汽车，百度展示了其在智算中心建设和大模型应用上的成功案例。会议还强调了大模型在多行业应用的重要性和AI技术在促进产业升级与创新中的关键角色，以及在推动绿色电力、算力和大数据创新方面的作用。通过这些进展，百度展示了其在推动大模型应用和产业发展方面的领导地位。 章节速览 ●00：00大模型算力管理平台发布：百度4.0助力创新与效率 在202400度云智大会中，百度集团执行副总裁沈抖博士介绍了其最新的算力管理平台百度4.0，该平台旨在解决大 模型训练与推理中面临的算力需求、模型训练效率与稳定性等问题。通过优化技术架构，实现资源层、组件层、加速层与工具层的高效协同，百度4.0能够快速部署训练集群，提高大模型训练的稳定性和效率，降低推理成本。此平台不仅支撑了百度自身大模型的研发，也为外部客户提供高效算力支持，展示了大模型领域技术创新与商业应用的新方向。 ●15：13全球首个视频大模型飞度发布，支持中英文双语输入与高画质生成 飞度是百度研发的全球首个视频大模型，采用UVIT架构，具备长时长、高一致性、高动态特性，支持一键生成长达32秒的视频，画质达到1080P，支持中英文双语输入。微度产品已在7月30号全球上线，具备业界最快的生成速度、强大的画面动态性和指令遵循能力，以及首个主体参照功能。此外，与百度AI易购计算平台合作，构建了稳定的超大算力集群，支持多个行业场景落地，如影视宣发、广告制作等。 ●25：52自建智算中心的管理与效率优化 针对自建智算中心客户在芯片混用环境下的统一管理和调配需求，百度提供全面适配与混讯支持，有效降低了效率折损，提升了管理效率和模型训练速度。例如，中国邮政储蓄银行通过百度支持，实现了不同厂商GPU资源的高效部署和重组，大大加速了模型迭代过程。此外，长安汽车通过与百度合作，构建了强大的算力中心，优化了资源利用率和训练效率，展示了在智驾领域对大模型技术的积极应用和对未来算力需求的增长趋势。 ●34：56大模型集群管理和应用平台升级 随着大模型性能提升所需的参数算力和数据规模增加，对物理空间、能耗和网络等方面提出了更高要求，促使跨地域部署成为必要。面对大规模集群管理挑战，新版本的管理平台（如IQ4.0）通过跨地域部署、优化网络架构和增强应用开发支持，实现对10万卡集群的有效管理，为客户提供持续领先的大模型应用平台。此外，百度智能云千帆平台通过不断升级，满足不同企业的应用开发、模型调用和开发需求，推动大模型在各行业的应用，如考试 宝通过大模型实现试题解析的智能化，显著提高了效率和降低成本。 ●44：49企业级RAG在媒体行业应用演示 展示如何使用企业级RAG（基于文档的强化学习）高效管理大型媒体资料库，以澎湃新闻为例，说明其在报道深 度和专业性方面的重要性。演示包括知识库创建、大规模文档上传、复杂查询处理以及智能体自动规划国庆节山西旅游计划，展示了RAG技术在提升信息处理速度和质量方面的潜力。 ●52：16智能助手提升私域电商运营效率 在移动互联网时代，智能助手能自动规划访问相关APP，提升任务执行效率。以爱库存为例，其开发的超级助手 能在分钟内完成数据分析、选品、比价、文案生成等任务，极大提升私域电商的运营效率。此外，通过对话开发应用的创新方法，使得应用开发更为便捷，即使是非专业人员也能快速上手。 ●01：03：17百度千帆模型服务层能力介绍及行业应用案例分享 介绍了百度千帆模型服务层的能力，包括文心模型家族的更新，不同大小模型的选择，以及如何通过模型调用来大幅提升业务效率。以招聘行业和教育行业为例，展示了大模型在实际场景中的应用和效果提升。同时提出了千帆3.0行业增强版，通过行业特色组件的添加，让客户能够开发出更适合自身行业的应用。最后，分享了南方电网在电力行业应用大模型的实践和思考，强调了人工智能在推动新型工业化中的作用。 ●01：11：08南方电网推动数字时代能源转型 陈周总和沈总讨论了四次工业革命的技术叠加，强调绿色电力、算力、大数据和人工智能的创新对能源电力企业转型的重要性。南方电网正在实施西电东送和东数西算战略，优化资源配置，提升电力和算力的协同发展。此外，南方电网致力于通过清洁能源支持数据中心的绿色运营，提高能源利用效率，推动自身的智能化转型。 ●01：18：05南方电网发布自主可控大模型萨瓦特 去年9月，南方电网发布了行业垂直领域首个自主可控大模型——萨瓦特，该模型由大模型、小模型、智能体三个核心组件构成，旨在统一规划过去、当前和未来的能力。萨瓦特设计了L0、L1和L2三个层级，涵盖语言、视觉、预测、多模态和科学计算五大基础能力，适用于电网的多个专业领域。萨瓦特是一个开放的生态体系，提供了包 括百度在内的多种可自主可控的算力芯片和深度学习框架。通过这种方式，萨瓦特能够降低产业建设成本，提高调度员的处置效率，以及促进电力行业的人工智能产业联盟的发展。此外，南方电网和百度合作，推动电力与算力技术的融通创新，为新型电力系统和新型能源体系建设贡献力量。 ●01：26：31智能客服和企业级AI解决方案的创新与应用 本次演讲展示了智能客服和企业级AI解决方案的最新进展，特别是大模型在提高客服效率、理解复杂需求、多模态交流以及知识学习等方面的进步。智能客服能够通过图片、文字、视频等多种方式与用户交流，自动生成对话总结，大幅提升自助解决率。此外，还介绍了针对科研领域的智能客服搭建过程及实际应用案例。同时，还提到了面向程序员的智能工具文心快马，能够提升编码效率和质量，帮助企业深入理解并优化其代码库。演讲强调了AI基础设施在促进产业创新中的重要性，展示了百度在推动大模型应用方面的努力。 ●01：34：59Intel与百度合作推动AI技术发展 在百度云智大会上，Intel公司的梁雅丽分享了公司如何通过与百度的合作，利用AI技术推动产业的升级与创新。她强调了AI在各行业的广泛应用，以及Intel作为算力提供者和基础技术创新者的角色。双方合作重点包括基于Intel最新处理器的云实力、DPU智能网络方案、大模型的优化以及绿色算力的推进，展现了技术与产业深度结合的重要性。 ●01：49：18工业4.0与人工智能的发展趋势 在2022年开始，带企业家参观中国工厂，观察到制造业生产线智能化实验在中国的激增，显示中国作为全球最激进的产业智能化试验场的地位。强调了第四次工业革命（工业4.0）的发展，包括自动化、云计算和人工智能在制造业的应用，特别是在中国的发展和影响。讨论了人工智能技术的快速发展，特别是在大模型领域的创新，以及 它如何促进不同行业，包括制造业、金融科技、游戏和网络广告等的智能化改造和效率提升。最后，提到百度在推动人工智能和智能体生态系统方面的努力，并强调了长期主义对于面对新的技术周期的重要性。 问答回顾 发言人问：大模型与其周边系统的转变如何正在推动着新一轮基础设施升级？ 发言人答：在过去短短的几年间，大模型及其相关的技术和应用场景正以前所未有的速度成为新的基础设施。历史表明，这种新型基础设施的升级往往伴随着生产力的巨大跃升。例如，电力从最初的发明到成为全球主要能源仅用了约90年，而互联网从连接少数高校到成为全球基础设施仅用了约30年。当前的大模型革命以其快速迭代和深远影响正在延续这一规律。 发言人问：GPU集群相较于传统CPU集群有何独特之处？其面临的两大挑战是什么？ 发言人答：GPU集群作为一种新型计算平台，拥有极致规模、极致高密度和极致互联三大特征，开启了全新的计 算时代。然而，这也带来了巨额的建设和运营成本（由于购买GPU卡片的高昂费用）以及运维复杂性急剧增加的问题（尤其是在大型集群中，硬件故障率上升且维护难度增大）。尤其在元宇宙平台训练中，Meta使用超过1.6万个GPU卡的例子显示出此类集群复杂度和技术要求极高，导致GPU管理面临巨大挑战。 发言人问：百度如何利用新技术解决GPU集群管理难题并推出“百度GPU4.0”平台？ 发言人答：面对GPU集群建设、运维成本和复杂性等问题，百度推出了全新一代的GPU管理平台——百度GPU4.0。该平台旨在简化用户的操作流程，降低成本，并有效提高GPU集群的稳定性和效率。其技术架构分为资源层、组件层、加速层和工具层四个层次，分别负责GPU设备的管理、集群的稳定性和性能、大模型训练和推理的加速，以及提供直观易用的操作界面。百度GPU4.0可使用户在一个小时内完成集群的搭建，极大地缩短了开发者从采购设备到实际运用的时间。 发言人问：百度GPU4.0在大模型开发过程中的具体应用优势有哪些？ 发言人答：百度GPU4.0提供了丰富的功能以助力大模型的研发全过程。首先，在集群创建阶段，该平台能够集成业界流行的训练工具和框架，让用户快速部署和使用GPU资源，大幅度缩短启动时间至1小时。其次，通过升级的观测大盘，能够实时监控并分析模型训练的各种参数和状态，为用户提供清晰的决策依据。最后，在规模化训练阶段，百度GPU4.0能有效保证99.5%的有效训练时长占比，通过AI算法预判和故障处理机制实现了近乎无损的容错能力，同时借助优化的机群设计和并行策略，显著提升了端到端的训练效率，达到了30%以上的性能提升。此外，在推理环节，百度GPU4.0同样表现出色，显著提高了推理效率并降低了成本，特别是在长文本推理任务上，其表现远超同类产品，成功满足了从训练到推理全流程的高效率算力需求。 发言人问：在泛娱乐行业中，百度依托于维度模型在哪些方面进行了创新应用？维度模型如何帮助影视行业提升宣发效率并创造互动体验？ 发言人答：在泛娱乐行业，维度模型的高动态性和高稳定性使得用户能够上传一张照片并生成跨越时空的拥抱效果，或是将老照片的人物动起来赋予鲜活的生命感。此外，用户还可以进行与动漫的二创同人创作。通过维度强大的底层模型能力，降低了创作门槛并提供了高自由度，未来随着模型能力的提升，将催生更多有趣玩法和应 用。维度模型助力猫眼电影在影视宣发方面实现高效视频内容生成，例如为电影《熊猫计划》中的大熊猫角色“呼呼”打造专属短视频账号，生成可爱互动视频内容，打破了电影屏幕边界，增强了观众互动性和真实感。通过一键 生成的方式，满足短视频宣发的日更需求，并保持了角色不同特点如大小不一的眼睛的一致性生成能力。