数据服务化在京东的实践
原起:数据服务化从0到1
- 需求背景:某业务方提出数据API需求,于5月6日提交,计划在618期间交付。
- 开发过程:
- 6月26日完成封版。
- 面临的问题包括API响应速度慢、接口数量过多等。
- 解决方案:
- 通过调优,将API平台的耗时从97%降低至1%,达到微秒级别。
- 采用JDBC规范支持SQL参数传递。
- 通过模板语言(如FreeMarker)减少API开发数量,从80个减少到5个。
抗鼎:数据服务化从1到100
- 开发过程:
- 1月11日开始开发,1月27日上线。
- 支持NoSQL存储生成API,提高QPS处理能力。
- 使用Elasticsearch、Redis、HBase等NoSQL存储系统。
- 提供被动缓存和主动缓存机制,提高查询效率。
- 服务编排:
- 支持接入存量HTTP和RPC接口。
- 通过Groovy节点实现兜底逻辑。
- 多个API编排形成复合API,运行工作流引擎。
静思:数据服务治理
- 治理概念:
- 类似交通治理,通过制定规则和流程来管理。
- 包括政策管理点(PM)、政策信息点(PI)、政策决策点(PD)和政策强制点(PE)。
- 应用场景:
- 服务市场、营销场景、分析场景等。
- 通过治理增强服务复用性和质量控制。
- 实现服务分级和发布卡点,确保服务的唯一性和质量。
总结
通过数据服务化的实践,京东在提升API开发效率、优化性能和增强服务治理方面取得了显著成果。特别是在面对大规模数据处理和高并发场景时,通过灵活的API设计和高效的缓存机制,实现了快速响应和高效处理。同时,通过服务编排和治理,进一步提升了系统的可维护性和服务质量。