从孵化到突破 - 网易杭研院的持续探索

从孵化到突破—网易杭研院的持续探索 主讲人：张晓龙 网易杭州研究院基础平台总监 1杭研是谁 网易集团重点投入且唯一的研究院机构 2杭研创新历程 从产品创新到技术创新 3当前创新工作 一切从实际需求出发 基础技术研究 ToC到ToB业务孵化 • • ToC：网易云音乐、邮箱、有 道成人教育、严选、LofterToB：网易数帆、数创、智企 • • 2006年成立，为互联网浪潮而生 紧跟前沿技术发展浪潮：人工智能大语言模型 技业 术网易务 公共基础平台研发 数字人才培养 创孵 提供云计算、大数据、人工智能、 低代码开发平台等能力 支撑网易互联网产品线以及部分游戏业务 • • 健全的研发/产品/运营/设计/运维等 IT人才培养体系 硕博占比50%+，名校毕业生占比37% • • 新数智创新引擎化 授权发明专利 1748件 软件著作权 省级以上平台载体 国家企业技术中心、国家级博士后工作站、大数据系统软件浙江省工程实验室、浙江省增强现实与智能交互工程技术研究中心、浙江省大数据重点企业研、浙江省数字工厂标杆企业、浙江省双创示范基地 省部级以上创新专项 科技部国家重点研发计划项目、国家下一代互联网示范城市建设重点项目、工信部大数据产业发展试点示范项目、浙江省重点研发计划项目、浙江省软件产业高质量发展重点项目 项 授权发9明0专5利件授权发7明专利20 个 697 网易AIGC创新大赛项目提报 110 近一年杭研院微创新项目提报 创新奖项 网易集团创新奖 网易集团技术奖 杭研院微创新奖 AIGC创新大赛 1024黑客马拉松 开源贡献 •8大自研开源项目，其中1个Apache基金会顶级项目 •9位ApachePMC/Committer，其中两位SparkCommitter，国内公司仅5位 •国内唯一EnvoyProxySeniorMaintainer PC应用创新孵化 博客相册 个人表达和交流 •分布式数据库 •分布式文件系统 •分布式搜索引擎 个性化音乐社区 •歌单智能推荐 •乐评智能理解 移动应用创新孵化 •严选ODM （原始设计制造商）模式 •在线职业教育 •互动直播 •课程录播 政企服务 Web2.0技术储备移动互联网多元化支撑前沿技术持续研究 AIBigData CloudNative •语音识别 •自然语言处理 •Spark&离线计算 •实时计算 •微服务 •混部&统一资源调度 •计算机视觉•机器学习平台 •数据仓库•BI•融合网关 •容器集群管理 轻舟云原生平台CodeWave智能开发平台EasyData数据开发治理平台 应对考拉/严选电商业务爆发增长满足OA/HR/采购/运营等大量经营管理需求打破严选/音乐/新闻等烟囱式数据架构 •传统服务数量近千•系统庞大架构复杂 •业务迭代速度慢•迭代容易引入bug •长尾需求未信息化•线下表格流程低效 •创新需求众多•开发人力成为瓶颈 •指标口径不一致•数据质量问题频发 •数据分析效率低下•存储成本指数级增长 2000 应用系统 +200% CICD开发效率 99.99% 业务连续性 30 集团部门覆盖 +50% 项目交付效率 60% 平均人力成本 2000+ 指标统一管控 350% 数据开发效率 60% 数据质量问题 技术复杂性从业务解耦低门槛+高上限，赋能业务专家提高数据交付质效 容器、微服务/网格、网关、中间件、DevOps智能大模型X全栈低代码（可视化编程语言NASL）DataOps+数据中台方法论 数据库变更稳保平台 慧眼智能可观测平台 变更难度高风险大 战 业•数据库系统稳定性要求高务•变更任务重：每天多达上百挑次变更 •对DBA经验要求高 创•实现DBA变更经验即代码 新•全流程数据库变更管控 点 数据库变更稳保平台 •实现数据库变更操作的规范 化管理、自动化执行，辅助方 DBA管好变更任务，提高变案 更效率 •在网易内部因变更失误而造应 成的稳定性事故降低90%+用 效 •DBA团队的整体效能提升成 20%+ 有监控无洞察 战 业•传统“物理机监控”思维无法务适应云原生时代监控对象特点挑•监控数据（Metric/Log/Trace） 呈现孤岛化 •eBPF与Java字节码增强 创数据采集 新•实现多维度数据统一观测 点•基于机器学习和AIGC的故 障自动检测和根因分析 一站式可观测平台 •“零侵入”的可观测性数据方 采集案 •“零配置”的业务异常自动 检测和根因分析 •已经在网易内部作为基础应 成 的可观测系统落地，平台用 智能监控对象超过50万效 大数据存储降本 Curve存储 节能减排 智能物联网应用平台 智能物联网应用平台 业•大数据数据存储具有累积务效应，存储成本占据大数需据成本近70% 求•大数据存储具有典型的冷 热特点 •研发高性能Curve文件存储， 支持百亿级文件的存算分离方 及冷热分层存储，同时提供案 高性价比的大数据存储方案 业•设备连接协议五花八门， 挑 务应用开发适配困难 战•设备数据分散各系统、格式缺乏统一性 •模组层级直连物联网平台方 •统一采用开源MQTT协议案 •支持关联应用的联动创新， 实现节能减排 创•高可靠、高可扩、高性能的 新元数据引擎 点•基于多级缓存、低成本对象 存储实现高性价比文件存储 •在大数据HDFS存储场景下，应使用Curve文件存储+对象存用储方案整体可实现存储成本成 效 降低30%+ •物联网与暖通、电气行业创跨界融合，让传统自动化新复杂的连接简化，便于程点序员在能耗机电上开发创 新 •空调水泵变频控制使单月应 空调节能20+%。用 •照明控制系统使地下车库成 的节电率达到90%，办公效 区域节电率达到50% 支持多租户的分布式统一大数据网关湖仓管理系统 从任何地方访问以任何规模部署连接到任何数据 多种表格式兼容 支持不同的表格式，如Iceberg、Mixed-Iceberg和Mixed-Hive，以满足不同的场景需求，并提供统一的管理功能 数据自优化服务 对业务透明的小文件合并，数据去重，流文件和批文件的自动合并转换，为业务提供在湖仓体系下的湖仓管理能力 丰富的管理工具 提供各种管理工具，包括WEBUI和标准SQL命令行，帮助您更快上手，更轻松地与其他系统集成 领先的查询性能 数据自动分桶，更加优化的读时合并性能 ●知识增强领域大模型● ●AIGC能力赋能增强网易数帆产品● 领域大模型 大模型基座杭研X伏羲） NL2SQL 领域模型 SQL补全NL2NASL 领域模型领域模型 网易玉言大模型 通用代码领域模型 ChatBI 数据分析 用户只需要与AI助手对话，即可轻松获取数据。 EasyData 数据开发 用户通过和助理机器人对话及SQL补全，提升数据开发效率。 CodeWave 软件开发 通过多轮对话，智能分析需求粒度，自动完成低代码应用开发。