视野数科的云原生DevOps实践-孟超

视野数科的云原生DevOps实践 孟超 视野数科CPO&联合创始人 个人简介 孟超 视野数科CPO&联合创人 从事大数据企业服务十年 负责视野数科旗下SaaS产品，数据产品线，为客户提供更加迎合时代的企业数据B端产品 服务过国内头部银行券商数十家客户，为客户提供标准化企业数据SaaS产品及企业大数据解决方案 PART1/ PART2/ PART3/ 视野数科业务背景介绍 Serverless架构落地未来展望 PART1 视野数科业务背景介绍 视野数科简介 •成立运营于2015年初，总部位于北京 •提供企业信息、产业融资等方面多维数据，以及与客户自有数据的加工、整合、挖掘和应用系统开发、数据模型分析相关咨询服务的整体数据服务解决方案 •最大机构股东：财政部——国家中小企业发展基金 •国内领先的一级金融市场数据、信息和软件服务企业。 业务架构 开发迭代效率慢：单体烟囱式架构，代码耦合度高，开发效率慢。 上线流程复杂，成本高：人工部署，缺少规范化DevOps流程 容量预估无法自动化：需提前备容ECS，存在备容不准风险和闲置浪费问题。 运维成本太高：平台日常运维难度较高，运维人员投入成本过高，人效比低。 开发迭代效率慢 上线流程复杂，成本高 容量预估无法自动化 运维成本太高 运维难度高，运维人员投入成本高，人效比低。 需提前备容ECS，存在备容不准和闲置浪费问题。 人工部署，缺少规范化 DevOps流程 单体烟囱式架构，代码耦合度高，开发效率慢 PART2 Serverless架构落地 技术“被驱动”着向前演进 业务发展驱动：不断扩展的业务内容和方向下技术架构必须跟上 成本驱动：数据、系统、业务两边后成本出现的软硬件，开发，运维成本的考量 “坑”驱动：旧体系下不满足当下实际情况而不得不从坑里爬出来想办法 在合适的时机选择合适的方案 ECS Docker SAE 未来？ 开发和运维解耦 基于Jenkins+SAE对接CI/CD，发布速度缩短到分钟级 资源弹性伸缩 基础指标弹性 数据API平台 定时弹性 业务指标弹性 基于基础监控指标（CPU、Mem等）、业务监控指标（QPS、RT、TCP等）和定时时间段触发的水平伸缩，帮助BI工具平台平稳应对客户调用的高峰，并在流量下降后自动缩容。 减少浪费=赚钱 精打细算降低不必要的成本浪费 生产环境命名空间 一键开启所有应用 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 …… 应用实例 测试环境命名空间 一键开启所有应用 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 …… 应用实例 生产环境命名空间 一键开启所有应用 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 应用实例 …… 应用实例 测试环境命名空间 一键停止所有应用 所有应用的实例均缩容到0，不产生计费。 但系统会保留应用配置信息，便于需要时一键秒级拉起。 白天夜晚 定时启停 运维高效性 •清晰的CPU、内存、网络等使用情况，随时了解到应用负载及时作出资源调整。 •丰富的指标帮助应用优化，及时排错，大大提升了开 发排错效率，解决运维繁琐日志排查以及测试疏漏导致的问题。 •直接定位到接口报错，快速分析定位报错原因。 整体效果 自动扩容 应对流量变化 打通CI/CD流程，应用发版时间缩短到分钟级 聚焦业务价值 运维更轻松 更详细的监控方便快速诊断问题 60%70%10倍以上 开发运维效率提升运维人力投入自动扩容效率 PART3 未来展望 未来展望 金铲子我们暂时不会去制造 坚守商业模式专注自己擅长 云原生在多方面的实践中有新的成果 Thanks