架构师（2023 年 9 月）

热点|Hot CONTENTS/目录 OpenAI或于2024年底破产？大模型太烧钱了，快把OpenAI烧没了！吵翻了！到底该选Rust还是Go，成2023年最大技术分歧 IPv4开始收费！新的IT灾难？ 访谈文章|Interview 用Rust编写，已有10万行代码：顶级黑客组织出手，将推出新的反数据收集开源框架Veilid平头哥推出首个RISC-VAI平台：软硬件深度协同，支持运行170余个主流AI模型 独家对话AGI模型“之父”MarcusHutter：AI能完成人类半数的工作，但让人类失业是一件美好的事情 案例研究|CaseStudy 两个多月完成全自研：大模型之争，从GPU卷到了向量数据库QQNT全新重构，探寻24岁QQ大重构背后的思考 ApacheDoris助力中国联通万亿日志数据分析提速10倍处理时延降低24倍，联通云粒数据引擎优化实践 解读Linux内存管理新特性Memoryfolios 大模型颠覆研发模式：字节跳动是如何在单元测试中落地大模型的？ 谷歌的反“背锅”文化 推荐文章|Article 生成的代码会出错、质量差？面对AI编程工具的老大难问题，华为这群人打算这样做将60多年的COBOL语言重构为Java，IBM用AI工具解决大型机维护难 七年没能将Python集成到Excel，Python之父加入微软三年后成了！ II 架构师 2023年09月刊 本期主编李冬梅 流程编辑丁晓昀发行人霍泰稳 反馈feedback@geekbang.com 商务合作hezuo@geekbang.org 内容合作editors@geekbang.com 特别专题|Topic 百亿级向量检索的向量数据库是如何构建的？ 视频推荐|Video 解决成本、易用性和扩展性三大挑战，星环科技向量数据库从0到1技术实践DingoDB多模向量数据库正式发布，支持多模态数据统一存储和联合分析向量数据库内核面临的技术挑战及应对措施 本月，这些视频值得一看！ 卷首语 向量数据库会是AI的“iPhone时刻”吗？ 作者：冬梅 最近一年，以ChatGPT、LLaMA为代表的大语言模型的兴起，将向量数据库的发展推向了新的高度。 向量数据库是一种在机器学习和人工智能领域日益流行的新型数据库，它能够帮助支持基于神经网络而不是关键字的新型搜索引擎。向量数据库不同于传统的关系型数据库，例如PostgreSQL，其最初设计用于以行和列的形式存储表格数据。它也明显不同于较新的NoSQL数据库，例如MongoDB，其主要是将数据存储在JSON文档中。 向量数据库是为存储和检索一种特定类型的数据而设计的：向量嵌入。它们本质上是机器学习过程的推理部分中运行新数据的过滤器。 在大模型部署中，向量数据库可用于存储大模型训练产生的向量嵌入。通过存储代表大模型广泛训练的潜在数十亿个向量嵌入，向量数据库执行最重要的相似性搜索，找到用户提示（他或她提出的问题）和特定向量嵌入之间的最佳匹配。 大模型爆火后，更多企业开始大力投资向量数据库以提升算法准确性和效率。据相关统计，2023年4月的AI投资领域呈增长趋势，尤其是向量数据库领域的投资活动颇为活跃，Pinecone、Chroma和Weviate等向量数据库初创公司都在这个月获得了融资。 当前的向量数据库在大模型淘金时代扮演着重要角色，它就像一把好的铲子一样， 有助于挖掘出更多更宝贵的资源。 但不能忽视的是，大模型在一定时段内可能无法解决所有问题。虽然有些大模型的创建者相信通用人工智能（AGI）会到来，但不少业内专家认为所谓的AI的“iphone”时刻不会这么快到来。在这个阶段，我们需要着手将大模型应用到实际中，让其具备非常智能的能力，可以进行对话，解决问题等。 然而，要做好这件事并不容易，因为首先你需要了解如何挖掘金矿，即了解整个流程。就像采金矿一样，需要一套标准的流程，不能只是做好一把铲子，还需要考虑如何做筛子，如何对资源进行更深入的处理。这是一个复杂的过程，需要对向量数据库和大模型进行更深入的了解和探索。 OpenAI或于2024年底破产？大模型太烧钱了，快把OpenAI烧没了！ 作者李冬梅核子可乐 作为让人工智能（AI）真正家喻户晓的传奇企业，OpenAI可能面临着新的严峻考验。根据《AnalyticsIndiaMagazine》报道，如果SamAltman执掌的这家公司继续以目前的速度烧钱，那么最快到2024年底就可能宣告破产。 《AnalyticsIndiaMagazine》指出，单是运行AI服务ChatGPT一项，每天就要花掉OpenAI公司近70万美元。尽管Altman一直努力推动GPT-3.5和GPT-4转为收益，但OpenAI仍远未能达到收支平衡，至于走向盈利更是天方夜谭。 自去年发布之后，ChatGPT已经成为有史以来增长最快的AI平台之一。但最近几个月，初期令人欣喜若狂的业绩数字已经停止增长，进一步削弱了该公司创造可观收入的期望。 当ChatGPT6月份的用户数量较5月份有所下降时，有人猜测可能是因为学生放假，检索信息动作有所停滞才导致的下降。另一方面，也可能是因为自从该公司为用户发布ChatGPTAPI以来，人们开始构建自己的机器人，而不是使用原来的产品。 根据外媒SimilarWeb介绍，与今年6月的17亿用户相比，ChatGPT在7月的用户数量环比下降12%、目前为15亿。 开源大模型的兴起，让OpenAI处境更加艰难 X（原Twitter）上的一位用户表示，ChatGPT无法产生收入的一大原因就是API（应用程序编程接口）正蚕食其利润。虽然很多企业禁止员工使用ChatGPT处理工作，但人们正使用API在不同的工作流程中运用大语言模型（LLM）。而所谓API，代表的正是让一款程序向其他程序提供服务的结构化方式。 OpenAI认为用户数量下降只是因为人们开始使用API来构建自己的产品，但外界很多人却不这么认为。 外界不少声音认为，OpenAI产品受欢迎程度下降是从开源大模型模型的兴起开始的。 Meta的Llama2与微软合作，允许人们将该模型用于商业目的。 那么，人们为什么不选择易于修改的Llama2，而去选择OpenAI提供的付费、专有和受限版本呢？可以说，与GPT相比，Llama2在某些用例中也要好得多。人工智能开发人员Santiago表示，“我已经与两家初创公司进行了交谈，他们正在从专有模型迁移到Llama2。” 另外，值得注意的是，尽管首席执行官SamAltman并不拥有OpenAI的股权，但该公司很久以前就从非营利组织转变为盈利组织。尽管Altman可能并不关心利润，但作为一家盈利公司OpenAI不得不关心利润率。 目前尚无可行的上市路线 报道还补充称，对于OpenAI、Anthropic或者Inflection等任何领先的AI厂商来说，通过首轮公开募股（IPO）从股市上寻求资金注入仍然为时过早。Investopedia发布的报道指出，任何成功的IPO都至少需要保持10年运营、再加上1亿美元的收入作为前提。 OpenAI之所以眼下还没有“爆雷”，主要得益于微软慷慨拿出的100亿美元投资。然而，考虑到用户规模的直线下降，该公司提出的2023年预计收入2亿美元、2024年预计收入10亿美元的目标已经变得过于乐观，甚至可以断言其亏损态势只会进一步恶化。而且自从推出ChatGPT聊天机器人以来，OpenAI的财政状况其实越来越差，今年5月的亏损额已经翻番达5.4亿美元。 目前市场上缺乏充足的企业级GPU（图形处理单元）供应，大国之间的技术战也加剧了OpenAI面临的困境。Altman曾多次提到，GPU资源的稀缺已经在阻碍该公司训练更多新模型。 但OpenAI也并非就“无药可救”。OpenAI向付费版本的转变可能为他们带来了大量的金钱。预期收入的预测可能来自购买API和使用基于GPT-4的聊天机器人或其他产品 （例如DALL-E2）的人们。但这方面的财务数据仍然模糊。 即便如此，如果这家以大模型为重点的公司进行首次公开募股，它可能会被更大的公司收购。至于员工，虽然很多人可能会离开OpenAI去加入竞争对手，但该公司仍在以丰厚的薪水招聘人员，甚至将办事处扩展到了伦敦。 大模型太烧钱了！ 众所周知，训练大模型所需的计算资源是非常巨大的，并且在大型模型上运行推理的计算成本也会很高。大模型需要专门的硬件和软件才能有效运行。企业可能需要投资昂贵的基础设施来处理大型语言模型的处理要求。有专家估计，GPT3的培训成本可能在400万美元到1000万美元之间，甚至更多。 训练人工智能模型需要大量数据，并且标记这些数据可能既耗时又昂贵。此外，获取数据的成本也越来越高。例如，一项研究发现，为机器学习创建高质量数据集的成本从每项任务1美元到100美元不等，具体取决于任务的复杂性和所需的专业知识水平。斯坦福大学的另一项研究发现，为深度学习标记单个图像数据集的成本可能高达每张图像3.50美元。OpenAI的GPT-3训练数据集大小为45TB。这些数字表明，训练人工智能模型的成本（包括数据采集和标记）是一项重大投资。 更重要的是，想要训练一款大模型，需要付出的成本并不仅限于硬件和数据。训练、微调和部署大型语言模型需要高度专业的技能，而组织的员工可能不具备这些技能。雇用这样的人可能会很昂贵，并进一步增加整体研发成本。此外，近年来，对人工智能和机器学习专业人才的需求大幅上升，导致市场上此类人才短缺。结果就是雇用和留住这些人才的成本大幅增加。根据LinkedIn的一份报告，人工智能专家职位是最热门的新兴职位之一，在美国每年的平均基本工资为13.6万美元。同一份报告还发现，过去四年对人工智能专家的需求每年增长74%。 据微软第二季度财报显示，微软在今年该季度的资本支出（主要用于购买硬件和软件）超过了107亿美元，较去年同期相比增长了23％，是公司历史上最高的季度资本支出。 微软首席财务官AmyHood告诉投资者，这个数字在接下来的四个季度中会进一步攀升。此外，谷歌首席财务官RuthPorat也释放出了同样的信号，Porat称公司的资本支出将在2023年下半年和2024年增加，主要是用于购买服务器和AI研发上。 财力雄厚如微软、谷歌，也被大模型“削掉了一层皮”，更别提OpenAI了。 GPU短缺更是让OpenAI雪上加霜。Altman曾表示，市场上GPU的短缺导致该公司无 法训练进一步的模型并对其进行改进。现在该公司已经在“GPT-5”上申请了商标，很明显该公司想要对其进行培训。这反过来又导致ChatGPT输出质量的大幅下降。 因此，如果OpenAI不能很快获得更多资金，该公司可能不得不在2024年底之前申请破产。到那时，我们将面对的局面可能是：大模型市场竞争越来越激烈，损失越来越大，用户越来越少，诉讼越来越多，大模型质量越来越差。 参考链接 •https://www.wionews.com/science/openai-may-go-bankrupt-by-end-of-2024-costs-700k-to-operate-chatgpt-daily-report-625016 •https://analyticsindiamag.com/openai-might-go-bankrupt-by-the-end-of-2024/ 吵翻了！到底该选Rust还是Go，成2023年最大技术分歧 作者核子可乐Tina 2023年，我们有一千个学习Rust的理由。 8月7日，Rust基金会发布了2022年度Rust调查报告结果，报告显示Rust采用率不断提高，超过90%的调查受访者表示自己是Rust用户；29.7%的受访者表示，他们在工作中的大部分编码工作都使用Rust，比上一年显着增加了51.8%。 毋庸置疑，Rust以其卓越的内存安全性和并发性能正日益成为开发者关注的焦点。然而，同样令人难以忽视