高性能应用服务HAI 开源模型时代的“算力搭子” 讲师介绍 高性能应用服务HAI产品经理 闫钰承 负责腾讯云高性能应用服务HAI的产品设计工作。参与HAI从0到1的产品建设,在AIGC部署方案、中长尾开发者生态建设等方面有丰富的经验积累。 目录Menu •为什么需要“算力搭子”? •HAI能提供哪些价值? •典型案例及实操演示 痛点分析:云原生开发与部署,让中小企业、开发者望尘莫及 开发测试/自用业务部署 Step1 选择合适模型 Step2 搭建高性能环境 Step3 模型优化与调整 Step4 生产环境部署 开源/闭源 成本过高 运维不熟悉 推理效率低 模型不合适 GPU不合适 缺少数据集 集群部署难 模型版权问题 驱动安装难 缺少监控数据 迭代管理复杂 依赖版本不兼容 应用中心 环境交付 可视化界面 推理集群 产品定位:智能算力更快被集成,AI应用的孵化器 助力中小AI应用加速集成智能算力,快速验证并导入市场 快速部署 门槛更低 一站式闭环 COS挂载 分钟级创建 应用模板 AI图形界面 云端IDE 学术加速 丰富模板,极速创建丰富的算力连接方式与周边产品共同被集成 应用场景:基于开源模型的推理应用,及数据科学/AI相关教培 主要客户类型:面向「教学」和「应用」两类核心场景 HAI能力:集合AI或数据分析基础环境+GPU算力,提供即开即用的学习 空间或课程实践模板。 典型客户:高校、科技机构、教培机构等 内部协作:CloudStudio、网络 教学教培客户 HAI能力:集合了主流AI模型+GPU算力,帮助AI原生应用快速验证并导 入市场,孵化潜在战略级客户。 典型客户:中小企业、AI开发者等 内部协作:TACO-LLM/DiT、COS/CFS、紫霄、混元-DiT 文生图模型 … 大语言模型 Ollama … AI应用客户 产品规划:丰富B端产品能力,持续打磨软件体验 时间节点 2024 Q3 2024 Q4 迭代主题 资源中心 推理集群 推理加速 深化企业服务 迭代目标 •算力、算法、数据一站式的AI应用体验 •为B端提供集群即服务 •支持集群版的应用模板 •提供极具推理性价比的专有应用和通用应用 •企业场景做深做透 关键功能 •丰富的AI资源生态 •一键部署/拉取到HAI •集群即服务 •弹性扩缩容 •CFS挂载 •一键TACO-LLM加速 •一键TACO-DiT加速 •提供更易用的集群能力 •提供增值软件加速能力 强化推理粗五能力 感谢观看! Thankyou 1元GPU特惠活动扫码立即开启 扫码加入HAI用户群与产品团队面对面沟通 CloudStudio+HAI ——便捷的大模型开发教学搭子 讲师介绍 张婧晶 腾讯云CloudStudio、CoDesign等工具产品策划工作,专注教学开发与开发者生态建设,帮助教企、高校落地在线代码教学场景需求。 腾讯云开发者工 具高级产品经理 目录Menu •“AI+教育教学”新趋势 •CloudStudio与HAI结合,为教学场景提供便捷的轻量GPU空间能力 •便捷大模型开发探索演示 注:技术服务已修改为技术应用 1 政策背景:人工智能教育教学发展上升为国家政策 提出到2030年的 1 “三步走”人工智能发 展规划 《新一代人工智能发展规划》 2 优化人工智能的 科技创新体系和学 科体系布局 《高等学校人工智能创新行动计划》 3 新增了人工智能技术应用 专业 《普通高等学校高等职业教育(专科)专业目录》 4 新增AI学院、AI+专业、AI+实验实践项目、数字化 教材、课程 某高校《“AI+教育教学”行动方案(2024-2026年)》 3 大数据可视化 企业画像 点金营销 知识图谱 对话机器人 机器翻译 语音合成 语音识别 图像分析 文字识别 手势识别 人脸支付 人脸融合 人脸识别 人脸核身 智慧农业 智慧金融 智慧政务 智慧旅游 智慧零售智慧交通 智慧医疗 智慧教育 智能制造 智慧城市 AI算法研究 AI应用开发 AI技术支持 AI售前咨询 AI产品营销 腾讯数据资产管理平台 腾讯智能对话平台 腾讯人工智能服务平台 架构师 产品经理 算法工程师 建模训练师 数据标注员 应用开发工程师 交付工程师 系统测试工程师 NLP平台 产业需求,指引AI人才岗位方向 数据采集 数据清洗 数据标注 特征工程 模型训练 模型评测 模型调优 部署维护 掌握项目管理方法 掌握数据爬取方法 使用数据清洗工具 使用数据标注工具 掌握算法编程基础 判断模型适用场景 掌握模型训练策略 掌握模型调优策略 智慧产业 产品方案 就业岗位 岗位职责 专业技能 梳理业务场景需求 业务梳理 1 4 为软件教育企业及高专院校用户提供环境一致的在线编码教学工具 •数字化创新课程制作与课程管理 •老师进行云资源分配和消费管理,且环境贴近企业场景 •老师对学生的实训/作业情况进行信息掌握和数据分析 •IDE集成至学校已有在线编码教学平台,在单文件代码练习与OJ场景中可支持学生可提交作业文件、上报行为数据,并对学生提供AI代码辅助能力 学生 老师 高专院校 用户场景:应用开发与AI开发教学 适用场景 产品研发 价值达成 •支持教学管理与沙箱实训的核心教学交互场景 •围绕教学开发场景,提供低门槛灵活接入的教具 •帮助高校/教企解决AI教学场景资源管理/分发困难、AI环境配置与资源获取门槛高、云产品使用学习门槛高的问题,提升AI教学质量、加快学校AI前 沿教学模式落地 实训闭环 教学管理 关键特性命中客户痛点、填补市场空白 er 场 景 轻量学习、作业提交、分享 浏览器 学习 推理等领专域业开发 本地IDE 腾讯云产品集成产品 微搭 WeData SCF HAI ... 用户云资源 SCF COS CODING ... 用户云服务 云API CLS ... SSH远程连接 模板创建 工作空间 资源 核心层 内 容形 态 产品形态 应用层 终端 TDSQL 社区 内容运营 代码片段管理 应用管理 被集成至高校现有编码教学平台 代码片段教学应用工程应用 CDE 插件 AI代码助手 Toolkit Deploykit 运行时 EKSSCFTKE 存储 CFSCOS CloudStudio ×HAI/CVM 支持多种算力资源的连接调度能力 CloudStudio ×腾学汇 灵活低门槛的接入方式 CloudStudio ×HAI 环境一致、即开即用的GPU运行环境 为软件教育企业及高专院校用户提供环境一致的在线编码教学工具 用户 编程老师学生在校计算机学生 涉及前端、后端开发、AIGC应用开发、模型部署 C端AI开发初学者 Studio Cloud × AI代码助 手 边学边练、AI辅助的教学应用 CodeServ Workspac e 代码存储 VSCode 运行环 境 资源调度器 感谢观看! Thankyou 腾讯云AI代码助手 ——常用编程教学中的实战演练 目录Menu •腾讯云AI代码助手已广泛用于企业工程与编程辅助教学 •提示词3S原则和提示词工程,在腾讯云AI代码助手使用中的重要性 •AI代码助手场景演示 讲师介绍 汪晟杰 腾讯云开发者AI 产品负责人 负责腾讯云开发者AI代码助手产品规划设计与运营,十多年协作SaaS、SAP云平台、SuccessFactorsHCM、Svbase数据库、PowerDesigner等产品的开发经验,在软件架构设计、项目工程管理、团队敏捷及AI研发提效等领域拥有资深行业经验。 从AISE里的编码赛道开始 软件开发中以编码辅助、代码沟通为最高频的使用需求。有超过1半的开发者期望AI帮助写单测的需求强烈 企业智能编码的SMAFe诉求 软件开发中以编码辅助、代码沟通为最高频的使用需求。有超过1半的开发者期望AI帮助写单测的需求强烈 AI代码助手辅助编程教学 【9-1】使用字节缓冲流对文件操作提供缓冲功能 提示词工程3S原则 3S核心规则是创建有效提示的基础。 •单个Single:始终将提示集中在单个、定义明确的任务或问题上。 •具体Specific:确保说明明确且详细,最好能附带一个示例或者模拟信息结构。具体且具象带来理解会带来更精确的代码建议。 •简短Short:在具体的同时,保持提示简明扼要。这种平衡确保了清晰度,而不会使腾讯云AI代码助手超载或使交互复杂化。 Zero-shot对话总结 下轮对话建议 One-shot一次新会话 一次当前上下文补全 FewShow单元测试: 1.ex:多文件示例 2.ex:框架示例 NShot Agent扩展 PromptasCode 面向企业及个人的腾讯云AI代码助手 https://cloud.tencent.com/product/acc 感谢观看! Thankyou 扫码添加“小助手”获数字化升级资料及1v1咨询服务