2023技术人的百宝黑皮书

前言 叙述一段历史，历史学家们往往会锁定一个时间维度上的“重要节点”。走过这个节点，世界的风向、社会的信念、人们对未来的态度发生改变，世界可以清晰地被分为“之前”与“之后”。 回望淘宝的技术历史，2008年，淘宝率先提出并实践去IOE，逐步掌握中国企业互联网技术发展的命脉自主权；2010年手机淘宝上线，淘宝进入移动电商时代；2019年，双11核心系统100%上云，电商应用架构全面拥抱云技术……行至2023这一年，我们确凿无疑地看到，以AI人工智能为代表的新技术正成为全球商业发展的新动能。 幸运的是，过去24年我们曾积累下丰富的用户场景与行业经验，每一份文字、图像、视频、代码、数据，一片片构筑起我们未来想象力的基石，为AI技术提供最佳的应用场。今年天猫双11，面向商家和消费者的一系列围绕AI的探索创新产品陆续落地。这是AI技术在电商领域的首次大规模应用，我们也积攒下点点滴滴的新思考和新沉淀。 所以，我们在这里相遇了。 这里是淘天业务技术2023一整年的精华技术内容合集，涵盖了AIGC与大模型、终端技术、服务端架构、数据算法等多个技术领域，沉淀了淘宝直播、购物车、拍立淘等多个业务的技术解决方案，细小的改变背后是对技术深度理解的体现，也是对用户体验与用户价值的纵深追求。我们希望能将这份知识沉淀和价值追求共享给你，并怀抱着开放自由的交流心态，真诚期望与大家沟通和共鸣。 本书内容页数1000+、全部内容将近40w字。希望你喜欢，并分享给身边的朋友。 新年快乐！ 扫一扫，关注我们公众号不错过下一年的技术风景 淘天集团的核心技术团队，支撑着淘宝、天猫等核心电商业务。依托淘天集团丰富的业务形态和海量的用户，大淘宝技术通过持续的技术创新和突破，不断探索和衍生颠覆性互联网新体验技术，以更加智能、友好、普惠的科技帮助商家更好的经营，让用户享受更好的消费体验。 随着电商业务的持续探索与快速发展，我们不断吸引算法、大数据、音视频通信、端侧智能、3DXR、终端、服务端等技术领域全球顶尖专业人才加入，让科技引领面向未来的商业创新和进步。 CONTENTS 目录 第一部分 年度精选技术栈内容 AIGC与大模型篇 基于AIGC的3D场景创作引擎概述探索StableDiffusion：生成高质量图片学习及应用基于StableDiffusion的AIGC服饰穿搭实践AIGC生成3D模型探索与实践FlashAttention2原理解析以及面向AIGC的加速实践AIGC技术在淘淘秀场景的探索与实践AIGC图像生成的原理综述与落地畅想 02 18 48 62 71 89 100 从零开始的stablediffusion119 Prompt设计与大语言模型微调133 大模型升级与设计之道：ChatGLM、LLAMA、Baichuan及LLM结构解析156 GPTPrompt编写的艺术：如何提高AI模型的表现力189 StableDiffusionWebUI从零基础到入门212 技术新浪潮：正在崛起的AI工程师LangChain:大语言模型的新篇章 222 229 终端技术篇 前端智能化在淘宝的2022实践总结淘宝widget链路方案总结淘宝HTTP3/QUIC技术演进与实践天猫汽车商详页的SSR改造实践SSR在天猫优品大促会场的探索实践JVMTI在淘宝Profiler中的应用淘宝首页大促新玩法“猫头”背后的技术挑战和设计 261 287 296 309 319 325 343 淘宝小游戏背后的质量保障方案2023年大淘宝Web端技术概览 357 370 基于Git的开发工作流——主干开发特性总结394 开放网关架构演进400 跨端架构下客户端侧API维护方案总结408 移动端浏览器性能优化探索421 淘宝APP网络架构演进与弱网破障实践430 低代码逻辑编排观：PlayMaker451 前端如何做好用户体验？462 前端工程中的设计模式应用479 iOSCrash治理：淘宝VisionKitCore问题修复541 服务端技术篇 HologresRoaringBitmap实践：千亿级画像数据秒级分析在淘宝，商品技术团队每天都在干什么？在淘宝，营销技术团队如何支持双11？认识WebAssembly与Rust实践一个服务端同学的Vue框架入门及实践 581 595 604 614 647 java动态脚本执行效率对比评测一种多场景通用备份容灾方案淘宝斗地主残局玩法技术方案总结9个服务端提升debug效率的IDEADebugger技巧浅析设计模式4——模板方法模式浅析设计模式5--责任链模式DDD之于业务支撑的意义 674 682 688 702 717 727 740 策略模式在数据接收和发送场景的应用753 秒级启动的集成测试框架760 如何在业务代码中优雅地使用责任链模式778 慢SQL治理经验总结786 3D/XR技术篇 基于扩散模型的3D智能创作引擎与内容投放算法最新实践基于组合优化的3D家居布局生成看千禧七大数学难题之NP问题电商3D购物新体验：AR量脚和AR试戴背后的算法技术前端3D技术概述基于MNN在个人设备上流畅运行大语言模型ARM汇编快速入门 795 803 811 825 837 850 多媒体技术篇 在淘宝，音视频技术团队解决了内容电商什么问题？淘宝iOS拍立淘微距能力探索与实现淘宝拍立淘多码识别方案总结 863 876 888 淘宝拍照基于端云协同的视频流实时搜索实践 CVPR2023｜淘宝视频质量评价算法被顶会收录CVPR2023｜ 896 淘宝视频质量评价算法被顶会收录903 大淘宝技术斩获NTIRE2023视频质量评价比赛冠军（内含夺冠方案）911 算法/大数据篇 深度统一粗排在淘宝主搜索的优化实践每日好店——淘宝店铺推荐系统实践每日好店——店品排序探索模型升级Generator-Evaluator重排模型在淘宝流式场景的实践LLM在电商推荐系统的探索与实践 CIKM论文解读|淘宝内容化推荐场景下对多场景全域表征的思考与应用 ICCV2023|基于动作敏感性学习的时序动作定位 920 933 940 948 959 972 988 淘宝用户体验分析方法论994 VOC数据洞察在淘宝详情⻚的应用与实践 物流产品体验诊断与优化 1012 1021 BPPISE数据科学案例框架1030 数据驱动性能体验优化1036 大数据基础技能入门指南1045 第二部分 技术人生与学习成长系列 技术人的经验总结 负责淘宝业务前端开发9年，聊聊我的心得“技术开发最应该做什么？”，聊聊我在服务端开发5年的理解和收获聊聊我在淘宝做性能分析的经历聊聊我做NeRF-3D重建性能优化经历聊聊我在店铺开放域做性能优化的体会聊聊我在淘宝的成长公式和业务思考聊聊我从底层算法到业务算法转型的这一年 1057 1067 1072 1079 1084 1090 1096 思考力：如何更好地做出判断1100 技术人的必读书单 2023大淘宝技术工程师推荐书单推荐领域新人必看书籍：《推荐系统实践》程序员必读|《业务架构解构与实践》 1115 1122 1131 01 第一部分 年度精选技术栈内容 第一部分 年度精选技术栈内容 技术人的百宝黑皮书 2023版 年度精选技术栈内容 AIGC与大模型篇 基于AIGC的3D场景创作引擎概述 作者：Meta技术团队 通过改变3D场景制作流程复杂、成本高、门槛高、流动性差的现状，让商家像玩转2D一样去玩转3D，让普通消费者也能参与到3D内容创作和消费中，真正实现内容生产模式从PGC/UGC过渡到AIGC，是我们3D场景智能创作引擎一直追求的目标。 前言 随着元宇宙的大火，国内外各大厂纷纷下场开始为下一代互联网技术布局，旨在为用户提供更好的体验。体验包括方方面面，比如更好的游戏体验、更好的社交体验、更高效的办公体验当然也包括更好的消费体验。作为国内最大的电商平台，我们团队也在持续思考如何基于元宇宙的技术，给消费者带来更好的购物体验以及给商家带来更好的营商体验。 回归到电商“人、货、场”三要素上，通过虚拟人技术以及商品三维重建技术，“人”和“货”在3D化上已经迈出了重要的一步，而“场”作为连接“人”和“货”的重要载体，目前还严重依赖于专业人员通过专业的DCC软件进行创作，门槛高、耗时长、成本高、效率低，这就导致了中小商家以及C端用户在现阶段难以大规模参与，即使是头部大品牌商家制作的3D场景内容也很有限。然而大规模的虚拟世界需要有大规模的虚拟内容作为支撑进行构建，基于AIGC的能力加速“场”的自动化构建从而降低3D场景制作门槛就显得非常有必要。 3D场景制作流程概述 3D场景制作在游戏行业已经形成了一套非常成熟的工业化、流水线生产的解决方案。下面通过游戏行业场景制作方式来简单介绍一下3D场景制作的整体流程。游戏中一个完整的场景制作流量一般可以分成如下六个步骤： 1.游戏策划提需求 2.原画师承接，并绘制出对应的原画 3.建模师制作对应的三维模型和材质贴图 4.绑定师架设骨骼、蒙皮、绑定控制器进行角色驱动 5.动画师会采用动作捕捉，或者手动设定关键帧的方式制作动画资源 6.场景编辑师在游戏引擎中搭建游戏场景 图片来源：https://baijiahao.baidu.com/s?id=1730605368628365612&wfr=spider&for=pc 当然，构建一个电商场景的3D内容其复杂度远低于一个庞大的游戏场景，但相关的流程基本是一致的，比如商家想要在虚拟世界中构建一个店铺进行商业活动，那么整个店铺的搭建也大体需要遵循上面的流程 电商3D场景拆解 电商域的3D场景由小到大一般可以分成展示单品的3D场景、展示店铺的3D场景、商业街区场景、虚拟城市场景，如下图所示： 由于街区是店铺的集合而城市是街区的集合，因此只要做好单品展示场景和店铺展示场景便能基于这两个基础能力跟搭积木一样的实现街区或者城市的构建。 下面以店铺为例，对虚拟店铺场景的构造进行拆解： 上图标识了构建一个虚拟店铺需要用到的所有元素，跟实体店铺类似，一个虚拟店铺的构建也包含了店铺装修所有的环节：硬装、软装、软装布局、布光、商品摆放等，如果是单品场景展示，还需要额外考虑商品运镜。 3D场景生成技术介绍 3D场景智能创作引擎技术架构 上述为AIGC3D场景智能创作引擎技术架构，下面介绍一下创作引擎核心的几个算法。 前背景生成技术 前背景生成技术核心解决构建的3D场景与待展示的商品或者店铺相匹配问题。即给定一款商品生成与之匹配的3D场景对该商品进行展示或者给定一个店铺的商品生成与这批商品调性相符的店铺场景。 对于不同品类的商品，所需场景复杂度是完全不一样的。以手机和沙发为例，一般展示手机的3D场景以抽象的风格为主，比如星空、天空、或者一些抽象艺术风类似于手机内置的壁纸其主要目的是配合手机的外观以及屏幕壁纸颜 色进行展示，整体场景相对简单，而展示沙发一般以实景场景为主并且需要在一个非常好看的客厅空间进展展示，为了营造温馨或者奢华的视觉效果还需额外大量的辅搭物品，如下图所示： 为了解决不同复杂度场景生成问题，我们构建了两套场景生成技术，以下简称单场景生成技术和复杂场景生成技术，下面分别介绍这两种技术方案 简单场景生成技术 简单场景生成技术核心解决场景内贴图生成问题，根据不同的商品生成与之匹配的场景贴图，并用生成的贴图根据一定的场景构建方式构建出新的场景，从而完成简单3D场景创作。我们采用的技术方案是基于DiffusionModel进行贴图生成，模型结构如下图所示： 给手机生成的星空背景贴图如下图所示： 同时，我们基于手机屏幕壁纸也做了一些创意的贴图生成，效果如下图所示： 直接根据手机壁纸进行场景贴图生成，构造与手机相符的3D场景。同时也可以基于该技术进行AI创意输出，设计师在搭建场景时给到设计师更多的灵感输入。另外，基于AIGC生成贴图的好处在于