贝叶斯定理及其应用：在不确定的世界里提高成功概率

在不确定的世界里提高成功概率 贝叶斯定理及其应用 06/11/ 2023 混沌在线会员入学福利 �福利一：加入/续费，可先私信班主任领取专属优惠 �福利二：成功入学后，即送商学课必备资料包 �福利三：加送会♘专属AI资料包，手把手教你入门chatGPT、Midjourney 混沌老同学，如何查看自己的班主任？【混沌App-我的-专属班主任】 新同学可扫右侧二维码，添加班主任 *注：此福利为班主任专属通道入学享有新同学扫码添加班主任私信享专属优惠福利 扫码查看更多介绍 真正的高手， 都是贝叶斯主义者。 “一个作者对读者做的最大的恶就是隐藏难点。” 数学天才伽罗瓦 老人和狗的故事相关非因果 “因果”很脆弱 贝叶斯定律 太简单了！ 设袋子中有3颗红球、1颗蓝球、3颗无色透明球，今小明随机从袋子取出一颗球。 (1)小明取出红色球的概率是多少？3/7 (2)已知小明取到有颜色的球，求该球是红色球的概率是多少？3/4 由果推因（认知和假设） 第一部分：概念澄清 从三个案例看何为贝叶斯定理 案例1:辛普森杀妻案 哈佛律师的辩词 美国400万被虐待的妻子， 其中1432名被丈夫杀害。 1432/400万=1/2500 1432 参考概率：40岁当年死亡 1.65/1000 《中国人寿保险经验生命表》（2010-2013） 美国400万有被虐待经历的遇害女性，其中有多少是被丈夫杀害？ 90% 一位渔夫告诉我，捕鱼成功的关键在于： 在有鱼的地方、鱼多的地方去捕鱼。 如果看不清楚，那么就另找地方，去你看得清楚的地方钓。 （芒格） 团队A：心理测试项目。04年去国外参加程序设计比赛，击败 很多大公司和世界一流大学，赚了25万，厉害团队。 团队B：SP项目。能力也不好，学问也不高的一帮销售，但做了SP行业。你觉得这两个团队哪个更有钱？ 答案：做SP的，08年最挣钱的就是SP。所以一定要搞清楚一件事： 你再牛X，你做的行业不好，你基数概率不行，你就是傻X，牢牢记住。 （元气森林，唐彬森） 先验概率（基础概率） 空间：去鱼多的地方捕鱼时间：形势比人强 人群：远离烂人 指数：你很难战胜指数基金 常识：较大概率重复发生的事情 运气很难改变， 我们可以改变运气的运气。 我的“运气”经验 街头的猜硬币游戏 连续10次抛出硬币是正面，请问下一次是正面还是反面？ (1)频率派：强调概率是长期频率的极限，是可以客观测量的。 (2)贝叶斯派：认为概率是对不确定性的主观信念，它可以使用 数据来更新。 贝叶斯定理与人类大脑的推理过程非常相似， 被称为接近人类感觉的统计学。 这么“简单”， 贝叶斯定理难在哪儿？ 案例2:机场行李丢失 行李没被弄丢的概率 你可能也经历过在机场等行李的煎熬。假设是如下状况： 1、行李丢掉（没上飞机）的概率是50%； 2、行李的等候时间为10分钟（并且是均匀的）。 已知：你等了5分钟之后，还没看到行李。 请问：你的行李没被弄丢的概率是多大？ 25%？ 概率是对“可能性”的度量。 在经历了前五分钟等待且没发现行李之后， 这五分钟的可能性已经被观察消除了。 所以，这时“可能性”的基数已经变成（25%+50%）。 计算结果应该是【25%➗（25%+50%）】，答案是1/3. 概率所描述的不确定性， 是用于衡量未来对我们有价值的可能性（机遇）。 休谟的两把大刀 一把挥向科学：我们无从得知因果之间的关系。 一把挥向道德：从事实“是”推不�我们“应该”怎样做 。 DavidHume 白天鹅悖论 休谟的因果鸿沟 贝叶斯的概率悬梯 贝叶斯派统计学中的主观性和个人信念， 与休谟的观点有着有趣的平行之处。 案例3 法航447航班搜寻 法航447航班搜寻 贝叶斯方法 •为飞机失事建立一个数学模型； •整合评估各种导致失事的原因的概率； •根据更新信息，改进模型。 先从概率最大的区域搜索，如果没有发现， 就在过往数据基础之上更新概率分布，继续搜索最大概率区域。 我们如何预测未知？大海捞针的贝叶斯魔法 第一步：整合先验知识； 第二步：建立基于全局的概率模型； 第三步：搜寻概率最高的格子； 第四步：根据搜寻结果进行贝叶斯更新； 第五步：继续搜寻下一个概率最高的格子。 贝叶斯的魔法 在不确定的情况下出发 通过观察和行动更新“信念” 建立可纠错的反馈闭环 一步步逼近真相 大脑游戏时刻 普林斯顿教授的“生日悖论” 第二部分：学以致用 贝叶斯定理的5把铲子 贝叶斯定理的第1把铲子 接受不确定性， 用概率思维来决策和行动。 “我从概率的角度看待未来。 未来就像概率这条河流的一个分支， 我们可以采取一些行动来影响那些概率， 或者加速或者放慢某个事件的进展，或者引入新的东西。” 伊隆·马斯克的未来观 猜概率游戏 有两个装满大量卡片的盒子，其中一个70%是红色，30%是蓝色；另一个30%是红色，70%是蓝色。 现在随机选择了一个盒子并取出了12张卡片：其中有8张是红色，4张是蓝色。 那么，请问这些卡片取自第一个盒子的概率是多少？ 我们根据自己的直觉，随意蒙一下，大概是70%或80%？不妨写下来。 约97%！ 少解释，多计算少讨论，多行动少后悔，多进步 （投资则不一样） 商业案例分析：天才的秘密 1、“信仰”和“信念”（使命召唤） 2、“第一性”和“概率优化”（物理定律） 3、“冒险”和“用户满意”（自燃率） 贝叶斯定理的第2把铲子 在对的地方种下信念的种子，审视信念的“双重概率”。 土壤概率X种子概率 土壤概率X种子概率 赛道-定位-心理账户 围棋和畅销书的故事 土壤概率X种子概率 喜欢-优势-资源 更关键的是…… 信念：来自“洞见”和“秘密” 致命假设 一个股票“发大财”的真实故事 概率可以“扭曲”未来现实场 但不能违背物理定律 如何做一个靠谱的“不靠谱的人”？ （敢于梦想，极度现实，从基础比率出发，审美优势） “非凡的主张需要非凡的证据。” 卡尔·萨根 美国天文学家、科普作家 ElonMusk： 是的，还有，如何抵御各种心理陷阱？人们往往会试图用各种谬论来算计你。因此，拥有对谬论的防御，将是一门重要课程。 N: 绝对是的，在数字时代这种辨别能力以及对收到的信息保持健康的怀疑态度，对于下一代，几乎算是生存技能了。我完全同意你的观点。 贝叶斯定理的第3把铲子 三行而后思， 用观察和行动不断更新。 毛估估的信念：七成把握就能行动先完成后完美：最小化可纠错闭环贝叶斯的进化：不断更新逼近真相 贝叶斯定理 控制证据强度的概率法则 当知晓了一个新的事实或观察到新的证据时，该如何修改概率（改变我们的想法）。 如何知晓更多新事实？ 如何观察到更多新证据？ 三行而后思 （抖音、拼多多、特斯拉的数据优势） 可纠错的反馈闭环 初始信念 （先验概率） 大胆行动 （获得信息） 更新信念 （后验概率） 股票预测器的原理 股票预测器的第一步：估算先验概率 股票预测器的第二步：a轮预测 股票预测器的第二步：叠加（独立）预测 多维的独立信息+独立思考 当我们拥有“太多信息”时， 我们本能地有选择地挑选出我们喜欢的部分， 忽略其余部分， 并与做出相同选择的人抱团，与其他人为敌。 NateSilver（统计学大神） 成为房间里最聪明的那个人 无关乎"你知道什么"，更不必证明你的正确， 而在于你接受到多少信息， 以及如何让自己变得更好。 贝叶斯定理的第4把铲子 联结的力量 贝叶斯网络与分布式思维 外星人来了吗？ 贝叶斯网络：联结的权重 如果所有的信息源都来自美联社报道，那么不管在节点2之下延伸出多少子节点， 也不能作为更多证据来放大外星人降临的可能性。 贝叶斯定理的第5把铲子 AI的底层逻辑 符号主义即模仿数理科学的发展方式，将知识系统地整理成公理体系，认为人工智能来源于数理逻辑； 联结主义的基础是神经网络及神经网络间的连接机制与学习算法， 认为人工智能来自于对人脑机制的模拟。 也可以简单的将符号主义理解为归纳与推理，将联结主义理解为神经网络和计算力，两者之间其实并不是非此即彼的关系。 老派的AI “理性和智能是深度的、多步骤的推理， 由一个串行过程指挥，并由一个或几个线程组成， 使用少量的信息， 由少量的强相关变量来表达信息。” 现代的机器学习模式 由浅（少步）推理组成， 使用大量信息的大规模并行处理， 并涉及大量弱相关变量。 上一代AI的失败 试图用纯粹的逻辑来处理日常生活中的混乱， 为人工智能需要做的每一个决定都制定一条规则。 但是，由于现实世界过于模糊和微妙，无法以刻板的方式进行管理。 这一代AI的成功 数据驱动、机器学习、深度学习和自我学习， 使得ChatGPT具备了更强的智能和适应性，能够更好地理解和生成自然语言， 从而提供更准确、流畅和人类化的交互体验。 苹果很常见，很多人都爱吃，但苹果是什么东西呢？首先，从感官经验的角度，我们可以说苹果是红的、圆的、甜的、脆的、硬的、能解渴的、能充饥的等等； 其次，除此之外，人们一般还会认为，有一个实体性的东西承载着所有感官告诉我们的这些性质，而这个实体性的东西才是真正的“苹果”。 休谟的意思是，事实上人们对苹果的认识只能限于上述的第一个阶段，至于说是不是有一个实体性的“苹果”存在，人们是一无所知的，因为这个实体没有在人的感官当中引起任何印象。 《科学之死》 算法处理的不是“确定性” 而是概率 大脑游戏时刻 专家们都错了的“智商游戏” 某市八年级学生的平均智商是100。 为检验当地的教育水平，你随机选择了50名学生接受测试。 第一个学生的智商测试得分为150， 请判断这50名学生的平均智商。 答案：101 受过训练的科学家——参与实验的心理学家们， 也同样会犯此类错误。 当这些心理学家只知道第一个孩子的智商得分是150，然后要去猜测一群孩子的平均智商时， 他们给出的答案是100。 《思维的发现》 概率背后的无形之手 他们认为八年级孩子的平均智商是100。 智商超高和智商超低的孩子都是群组中的特例，会两相抵消。 就像硬币，这次正面朝上，下次就会反面朝上。 只不过，贝叶斯定理的计算结果显示，孩子们的平均智商是101。 小样本不会自我调节 大数定律靠随机性来稀释 惯性&随机 人类对动机、意义、规律、因果的迷恋和错觉 小数谬误 “人们对于随机取样所抱的态度似乎是符合小数定律 的。 他们认为小样本和大样本一样， 都能反映出它所代表的整体的特性。” 特沃斯基 你为什么是一个中国人？ 因为概率较大。 你为什么不是一个印度人？因为你现在已经是个中国人了 成为一位概率思维者 但不是成为赌徒。 为什么有些聪明人爱赌？因为他们还不足够聪明。 成为一位贝叶斯主义者 贝叶斯思维的奇怪框架 结果就是假说为真的概率 第三部分：个人修炼 贝叶斯主义者的四个习惯 贝叶斯主义者的第一个习惯 运用贝叶斯定理 实现“有系统”的复利效应 基于系统：滚雪球 初始信念 （先验概率） 大胆行动 （获得信息） 更新信念 （后验概率） 一个人的成就 来自一套“核心算法” 乘以“大量重复动作的n次方” 这可能是你一生最重要的公式 在不确定性的、非线性世界里 贝叶斯定理✖️复利公式 贝叶斯主义者的第二个习惯 探索未知，利用已知在攻与守之间进行权衡 多臂赌博机问题 保有“可能性”和“选择权” 攻守兼备的人生 贝叶斯主义者的第三个习惯 成为学习机器在适应中快速进化 大海如何塑造船只？ 每艘船都复制自另一条船…… 让我们用达尔文的方式推理如下。 很明显，制造得非常糟糕的船，出航一两次之后就沉底了， 故此不会遭到复制…… 那么就可以说，是大海本身，用它彻底的严谨性，选择了功能适应的船只，摧毁了不适应者，从而塑造了船只。 （哲学家Alam） 埃隆·马斯克南加