架构师（2023 年 12 月）

热点|Hot CONTENTS/目录 全球首款经安全认证的开源实时操作系统！开发了20多年、部署在超120亿台设备上的ThreadX正式开源 省钱在于“架构师”！亚马逊CTO20年架构经验之道：俭约架构师的七大黄金法则 联手OpenAI最强竞对展开生成式AI反击战：亚马逊云科技将S3写入速度提升10倍、推出全新三层技术栈 疯狂马斯克的“极限”计划居然成功了？！“下云”后成本降低60%，部分功能代码精简90%，30天急速迁移服务器 访谈文章|Interview 微软发布开源平台Radius：高效构建、运行云原生应用程序 主力开发已经68岁了！“老龄化”严重的Postgres开源社区呼唤“年轻一代”美图的这100天：三月三版本，大模型博弈中谁能笑到最后？ 案例研究|CaseStudy 是时候基于云重新设计Kafka了！AutoMQ如何实现Kafka十倍的降本增效 一个失败的AI女友产品，以及我的教训：来自一位中国开发者的总结从ES到Clickhouse：信息技术发展的新浪潮 推荐文章|Article GitHub基于大语言模型构建Copilot的经验和教训 从谷歌20年站点可靠性工程（SRE）中学到的11个经验教训无服务计算，厂商究竟在打什么算盘 我，技术不过硬，但是团队里的重要“胶水” 是时候彻底放弃“高分低能”的Leetcode了：AI时代的面试需要大变革！Docker的诅咒：曾以为它是终极解法，最后却是“罪大恶极”？ II 架构师 2023年12月刊 本期主编Tina 流程编辑丁晓昀发行人霍泰稳 反馈feedback@geekbang.com 商务合作hezuo@geekbang.org 内容合作editors@geekbang.com 特别专题|Topic 数据库内核杂谈：向量数据库（一）数据库内核杂谈：向量数据库（二）数据库内核杂谈：向量数据库（三）数据库内核杂谈：向量数据库（四） 向量数据库？不要投资！不要投资！不要投资！ AutoGPT放弃向量数据库！向量数据库是小题大作的方案？ 视频推荐|Video 向量数据库失宠了？OpenAI力捧检索增强生成（RAG）技术，对行业来说意味着什么？ 本月，这些视频值得一看！ 卷首语 俭约架构师的七大黄金法则 作者：Tina 亚马逊CTOWernerVogels向企业传达了一条信息：在管理云成本方面，是时候成为节俭的架构师了。 他拥有近20年的平台构建经验，在今天的re:Invent2023大会主题演讲中，给大家上了一节关于成本优化的课：“作为技术专家，我们生活在一个瞬息万变的世界，我们需要保持学习，坐下来，拿出你的记事本，现在开始做笔记。” 法则一：将成本视为一种非功能性需求。 架构师需要尽可能早的、以更加可持续的方式考虑成本影响，才能在系统设计过程中在功能、上市时间和效率之间寻求平衡。 法则二：确保系统的最终成本与业务保持一致。 系统能否长治久安，取决于其成本是否与业务模式高度匹配。在设计和构建系统时，架构师必须考虑收入来源和利润杠杆。更重要的是，必须找到能够产生利润的维度，确保架构规划始终围绕收益展开。 法则三：架构设计是一系列权衡的集合。 在架构当中，每项决定都涉及相应的权衡。在技术与业务需求间找到适当的平衡将至关重要。请记住，节俭是为了最大限度提升价值，而不只是尽可能控制支出。因此，在必须得花的钱上别吝啬。 法则四：无法观察的系统将带来无法估量的成本。 尽管实现可观察性需要投入，但这笔钱绝对会物有所值。有句格言说“如果无法量化，也就无法管理。持续检查能帮我们发现非必要支出，并调整运营以减少浪费。总之，可观察性带来的回报往往远超过前期投入。 法则五：依托成本感知架构实现成本控制。 节俭架构的本质，在于强大监控与成本优化能力的结合。明确定义各层，即可在成本及其他要求之间求得平衡。对组件的精细控制则能优化成本和体验。 法则六：成本优化是个渐进的过程。 追求成本效率是个持续的过程。即使在部署之后，我们也必须随时审视系统以逐步寻求优化。看似微小的优化，累积起来足以产生超出想象的成本优势。 法则七：顺风局打多了会让人盲目自信。 软件团队经常陷入这样的陷阱：仅凭以往的工作经验，他们就认为当前的技术、架构或语言永远是最佳选择。这可能会产生一种错误的安全感，阻碍对现状的质疑，更会打击对可能更加高效、更具成本效益或可扩展性更强的新选项的探索。 全球首款经安全认证的开源实时操作系统！开发了20多年、部署在超120亿台设备上的ThreadX正式开源 作者凌敏核子可乐 微软开源AzureRTOS嵌入式系统 近日，微软宣布开源AzureRTOS及其所有组件，将其贡献给Eclipse基金会，并更名为EclipseThreadX。AzureRTOS的开源将满足长期以来高度分化的嵌入式软件市场的实际需求，而ThreadX也将成为全球首款开源实时操作系统。 2019年4月18日，ThreadX操作系统被微软看中，其所有者ExpressLogic也被整体收购。从那时起，它的名字也被改为AzureRTOS。微软表示，通过此次收购，微软将解锁对数十亿全新连接端点的访问能力，让更多设备能够无缝接入Azure云并获得新的智能化功能。ExpressLogic的ThreadXRTOS也将加入微软日益庞大的物联网支持技术阵营，并与微软在微控制器领域的安全方案AzureSphere形成互补，目标是将ThreadXRTOS确立为AzureSphere设备上的实时处理选项，帮助那些支持ThreadX并需要边缘计算功能的物联网设备能够与AzureIoTEdge对接。 有观察人士称，微软收购ThreadX是为了回应此前亚马逊云科技接掌FreeRTOS。在收购之后，ThreadX原开发者WilliamLamie选择离开并创办新公司，专门销售包含POSIX兼容线程的“第五代”RTOS，名为PX5OS。 彼时，ThreadX拥有超62亿部署量，也是当时VDCResearch调查中全球部署范围最广的RTOS之一。之所以得到广泛接受，就是因为ThreadX解决了市场的客观需求：如何在资源有限的环境之下，让物联网及边缘设备仍具有可靠的安全保障。制造商生产的各类产品——包括智能灯泡、温度计、空调、医疗设备及网络设备等，都享受到ExpressLogic方案带来的尺寸、安全性与可靠性优势，同时也加快了产品上市速度。即使是高度受限的设备（由电池供电且闪存小于64KB），也能用上ExpressLogic的解决方案。全球每年生产和部署的MCU驱动设备超过90亿件，其中大部分都能够从ExpressLogic的技术成果中获益。 目前，ThreadX涉足的领域更加广泛，有120亿台设备在运行这款系统上。它曾经为 英特尔的片上管理引擎提供支持，也是PiPico级别以上各类树莓派（RaspberryPi）的运行固件。在Pi1、2和3代中，它藏身在PiSD卡上的bootcode.bin文件当中；而在Pi4和400当中，它又变身为start*.elf。ThreadX还存在于GitHub和Debian项目当中，以专有blob （二进制大型对象）的形式示人。 它就像是个密不透风的黑盒子，其中甚至不涉及任何Arm代码——相反，只运行在Pi的VideoCoreGPU之上。值得一提的是，VideoCoreGPU才是Pi中控制硬件的主要设备，Arm核心反而是VideoCoreGPU的从属设备。这也是Xen只能在Pi4及更高版本上运行的原因：到这些版本，其Arm核心才开始拥有自己的中断控制器。不过从Pi5开始，ThreadX被纳入EEPROM当中且功能有所削减，Arm核心也由此获得更多硬件控制权。 尽管市面上的实时操作系统（即RTOS）并不少见，但由于实时操作系统默默运行于底层，很少受到关注。最知名的实时操作系统当数WindRiver的VxWorks：远在火星的NASA毅力号探测器上就有它的身影。作为黑莓旗下唯一赚钱的业务，QNXRTOS也先后两次成为人们关注的焦点：除了作为RIM黑莓Xfoldlelab及智能手机产品的底层基础，上世纪90年代它还曾通过一张软盘成功实现设备加载和运行演示。 ThreadX有哪些特点？ 目前来看，ThreadX本身仍是一款久经考验、相当成熟的产品，其STM32版本等部件甚至通过了TÜV功能安全(FuSa)认证。这也使其在特定客群中建立起强大的吸引力。 具体来说，ThreadX的特点包括： 1.技术成熟、可扩展性强。ThreadX已经发展20年有余，目前在全球超过120亿台设备上运行，是公认的高性能、高稳定性实时操作系统。 2.基于宽松的开源许可证。ThreadX将采用MIT开源许可证，为用户和采用者提供高度宽松的许可条款。 3.以厂商中立为基调进行开源管理。ThreadX将由Eclipse基金会管理并遵循其开发流程，保证以厂商中立的治理模式推动其发展和延续，造福于整个技术行业。 4.通过了功能安全与保障谁。ThreadX已通过SGS-TÜVSaar认证，符合IEC61508、IEC62304、ISO26262和EN50128标准。ThreadX还通过了EAL4+CommonCriteria安全认证。全面的安全认证积累开行业之先河，也让ThreadX成为第一款有望改变游 戏规则的可靠开源RTOS。 Eclipse基金会在博客中提到，虽然市面上还存在其他开源RTOS，但没有哪套方案能够同时满足以上四点。基金会对ThreadX充满信心，认为其必将迅速扩大在航空航天、汽车、物联网、医疗、交通、自动化和消费级可穿戴设备等广泛用例中的落地。 ThreadX未来将如何发展？ 除了项目本身，Eclipse基金会还成立了技术兴趣小组，专注于为ThreadX建立起由行业支持的可持续融资模式。目前，AMD、Cypherbridge、微软、NXP、PX5、瑞萨电子、意法半导体、SiliconLabs和Witekio（Avnet旗下公司）都积极参与进来。 未来，ThreadX兴趣小组将主要关注以下几项目标： •整合项目：尽快将ThreadX迁移至Eclipse基金会的治理体系之下。具体涉及在未来几周内对代码和文档进行转换和重新许可，并修改项目商标。与此同时，兴趣小组还在寻求具备ThreadX经验的开发者参与进来，像之前的Cypherbridge、PX5 和Witekio那样推动项目发展，努力在2024年1月底前发布Eclipse基金会治理下的首个ThreadX更新版本。 •维持认证：安全认证是ThreadX的一大差异化优势。在开源治理也继续维持住这 些认证，将成为决定ThreadX项目未来命运的关键因素。兴趣小组希望为ThreadX社区建立起最佳实践，并根据需要修改并增强Eclipse基础开发流程，从而满足安全性及其他流程性要求。相关认证将帮助ThreadX的下游使用者轻松证明其产品的安全性，且基于开放许可证对外提供。这将显著缩短基于EclipseThreadX的产品的安全认证周期。 •建立社区：ThreadX正是孕育开源嵌入式软件开发者社区的绝佳载体。兴趣小组 将高度关注吸纳新贡献、通过开发者倡议推动项目采用，以及与Eclipse基金会内的其他社区（例如物联网和软件定义汽车社区）间建立往来，同时坚定维持ThreadX独特的安全认证优势。 •打响品牌知名度：恢复原有ThreadX之名，是为了向这项技术的使用者们保证， 开源后的ThreadX仍是他们最信任的RTOS。项目将把ThreadX品牌同厂商中立定位联系起来，传达明确的品牌形象，同时建立兼容性计划以为当前及未来的使用者 提供更多价值。 •发展生态系统：目前全球超百亿台设备都在使用ThreadX，这也证明其是一项重要且非常成熟的技术。为了确保ThreadX未来能长期保持稳定发展，兴趣小组需 要各生态系统参与方的支持、协作和贡献，具体包括各芯片/SBV制造商、嵌入式系统