投资中的概率论 | 大数定律教给我们的人生道理

  2021-07-03 本文章121阅读

编者注

概率,是我们生活中经常会接触到的理念,它计算很简单,只要小学数学就够了,但是对于概率的理解,却常常绕晕我们,使我们做出错误的判断与决策。


因而,心理学、行为经济学对此的研究也非常深入,我们分享过的《思考,快与慢》与《超越智商:为什么聪明人会做蠢事》两本书,就针对人们对于概率的迷惑做了很多探讨。


那到底如何理解概率呢?


我们本周就推荐一本精彩的概率通识书《醉汉的脚步:随机性如何主宰我们的生活》


该书作者列纳德·蒙洛迪诺有着非常传奇的跨界经历。他读书时精通数学、物理、化学,后深受物理大师费曼的影响,立志于理论物理的研究,任教于加州理工学院,与偶像费曼成为了同事。


他也曾从学校辞职成为了一名好莱坞编剧,后又离开影视圈进入游戏界,成为一名游戏制作人和设计者,与斯皮尔伯格和迪士尼公司合作制作的游戏获得了数项大奖。


他又担任过学者出版公司(Scholastic Inc.)软件开发部门的副主管,以及数学教育方向的出版人。


最重要的,他是一名卓越的科普书作家,曾与霍金合著《时间简史》与《大设计》,自己也拥有多本畅销书,如《费曼的彩虹》、《欧几里得的窗口》等。


霍金评价他的书兼具专业性与通俗性,引人入胜。他在书中经常会结合精彩的科学史和科学家故事来阐述深奥的理论,2008年出版的《醉汉的脚步》一书也正是如此。


他指出,《醉汉的脚步》这个书名来自描述随机运动的数学术语。当分子飞在空中,并不断与其他分子碰撞时,它所经过的路径就是随机运动的一个例子。


那些用来理解醉汉的脚步的数学工具,同样可以用来帮助我们理解生活中的各类事情。因为在面临不确定性时能够做出正确的评判和选择,这是一种十分稀缺的能力。


但如同其他能力一样,我们可以通过经验不断加以改进。我们能够提高自己的决策能力,并克服一些偏见,以免做出糟糕的评判和选择。


在书中,蒙洛迪诺追寻着大师的脚步,从古希腊罗马的哲学先贤,到帕斯卡、伯努利、贝叶斯、拉普拉斯等,为我们揭开人们对于概率、对于随机性认识的历史进程。


他认为,发生在我们身上的许多事情——职场、投资和生活中或大或小的决策的成功——都是随机性的结果。


这些随机因素的影响一点儿都不比我们本身的能力、勤奋和为机会所做的准备的影响来得小。因此,我们所认知的现实,并不是人或环境的直接反映,而是被不可预见或不断变化的外部力量随机扭曲后的模糊映像。


用诺贝尔奖获得者马克斯·玻恩的话来说:“相比于因果性,偶然性是一个更加基本的概念。”


同时,他也指出认知偶然性对于我们的正面意义:


偶然性确实在我们的成功中扮演了某个角色,那么通往成功的要素之一已经掌握在我们手中,那就是我们尝试的次数。因为即使是一枚更容易扔出失败结果的硬币,有时也会获得成功。


或者如IBM老总裁托马斯·华生说的那样:“要成功,就把你的失败次数加倍。”


以下选自《醉汉的脚步》第5章《针锋相对的大数定律与小数定律》,祝开卷有益!



卡尔达诺、伽利略和帕斯卡都做了一个假设,那就是问题中的概率是已知的。

 

伽利略就假设骰子的6个面出现的可能性都相等。也许伽利略观察了若干次投掷的结果,并记下各面出现的频度来检验他的假设。但是,如果把这个检验重复几次,那么他很可能会发现,频率分布每次都会稍有出入。

 

要想把随机性的早期研究成果真正应用于真实情况,就必须面对如下的问题:

 

那些隐藏着的概率和观测结果之间的联系究竟是怎样的?

 

 

01

 

 

最近,我就在一个温暖的春日里,与一名来我校访问的希伯来大学统计学家莫希进行了一次这样的讨论。莫希表明了一个观点,即并不存在所谓真正的随机数。

 

“根本没这种事儿。”他说,“对,他们出版了很多随机数表,写了很多计算机程序,但都只是在自己骗自己。从来就没有人找到过比扔骰子更好的产生随机性的方法,而扔骰子同样做不到真正的随机。”

 

“假设你想得到N个由1到6的数字构成的一串随机数,”他告诉我,“那么把骰子扔上N次,再记录下所得的点数。不过这是一个随机数串吗?”

 

然后他说,不是的,因为没人能做出一个完美的骰子

 

总会有某些点数出现得比其他点数更频繁。也许要扔上1000次或10亿次这一点才会显示出来,但你迟早总会注意到这样的偏向。

 

他说,只要是由人制造出来的东西,就注定会受到这类缺陷的影响,因为人类无法做到完美。

 

不过大自然却可以做到完美,真正随机的事件确确实实在原子层面上发生着。实际上,这正是量子理论的基础。

 

现在,我们通过投掷大自然完美的量子骰子,可以用最尖端的量子发生器产生真正的随机数。不过在以前,产生随机性所必需的完美性,的确是一个不容易达到的目标。

 

1947年,兰德公司的科学家迫切需要一个巨大的随机数表。当然,他们的目的要高尚得多:用这些随机数,以一种被很恰当地称为蒙特卡罗方法的数学方法,求取某些方程的近似解。他们用电子噪声产生这些随机数。

 

实际上,我们可以把电子噪声看成一种电子轮盘赌。那么,电子噪声是随机的吗?

 

兰德公司的科学家们为了搞清楚他们的随机数表是不是真的随机,进行了许多不同的检验。更细致的分析显示,正如莫希那个从原则上来说不完美的骰子一样,这个随机数生成系统似乎是有偏差的。

 

兰德公司的科学家对系统进行了一些改进,但还是没有办法完全消除这种规律性。不过兰德公司的这些随机数已经被证明具有足够的随机性,因此可以满足使用要求。

 

1955年,兰德公司用一个挺好记的名字出版了这些随机数表:《百万乱数表》。

 

 

02

 

 

其实在差不多一个世纪之前,兰德公司的科学家在研究中碰到的这个问题,已经有一名英国人约瑟夫·贾格尔以某种形式遭遇到了。他所碰到的问题叫轮盘赌问题。

 

贾格尔是约克郡一个棉花厂的工程师和机修师,因此,他对于机械的能力及缺陷有一种直觉。在1873年的某一天,他把自己对机械的直觉和创造性思维从棉纺车间转向了金钱。他考虑的问题是,蒙特卡洛赌场的轮盘赌到底有多完美?

 

轮盘赌就是把一个很大的碗,隔成许多形如从馅饼上切下的扇形部分(称为槽);当轮子转动时,一颗石弹珠先在碗沿上跳来跳去,并最终落入这些以数字1到36再加一个0作为标记的槽中的某一个。

 

如果赌欧式轮盘赌,我输钱的机会将是36/37,而赢钱的机会只有1/37。这就意味着我们每下1美元赌注,赌场就会赚(36/37×1美元)-(1/37×35美元)=1/37美元,大约2.7美分。

 

但轮盘赌机真的就是如此行事的吗?贾格尔认为,只有当轮盘的各个部分都处于一种完美的平衡状态时,机器才能做到这一点。不过贾格尔跟机器厮混的时间太长了,因此他的观点跟莫希一致:他很愿意去赌一赌,这些轮盘赌机其实并不完美。

 

于是他带着全部积蓄来到蒙特卡洛,雇了6名助手,赌场里面有6台轮盘赌机,这些助手每人负责盯一台。助手们每天都要观察所负责的机器,并记录下赌场开门后12个小时内,每次轮盘赌中获胜的数字。晚上回到旅馆后,贾格尔就对这些数字进行分析。

 

经过6天的观察,有5台机器并没有表现出任何不均匀的数字分布,但在第6台机器上,有9个数字明显比其他数字出现得更频繁。

 

第7天,他开赴赌场,并在这9个出现得更频繁的数字上投以重注。

 

当晚赌场关门时,贾格尔赢了7万美元。赌场所有的巡查都紧盯着贾格尔,想要找出他如此走运的原因,当然,如果能在他出老千的时候抓个现行就更棒了。

 

大赌4天之后,贾格尔堆起了30万美元,而赌场经理能做的只是绝望地祈求摆脱这个神秘的家伙。也许你会以为赌场经理是请某个壮汉来帮助达到这个目的的,不过赌场的人的做法可要聪明得多。

 

在第五天,贾格尔开始输钱了。他现在的失败一如之前的成功,并不是马上就能察觉到的。在赌场搞小动作的之前或之后,贾格尔一直都有输有赢,只不过现在他输多赢少,而之前输少赢多。

 

从开始转霉运到他终于收手,贾格尔输掉了一半的家产。好好的一个计划怎么突然就不行了呢?但4天中鲸吞了赌场金钱的贾格尔,可不想因为一点儿风声鹤唳就收手不干了。

 

贾格尔终于精明地发现,他赢钱的时候曾经瞥到机器上有一条细微的划痕,但现在划痕不见了。因此,他仔细地检查了其他几台机器。划痕在其中一台上。

 

赌场经理没有猜错,贾格尔的成功,肯定跟他赌的那台机器存在某种联系。因此他们连夜调换了机器。发现这一点之后,贾格尔换到这台有划痕的机器上,钱再次流向他的钱包。没多久,他就赚到比之前更多的钱,这次有将近50万美元。

 

后来赌场经理终于忍无可忍,于是集中全力来对付他。为了阻止贾格尔,赌场想出一个新方法:每晚赌场关门后,他们就把轮盘槽全部转离原先的位置。这样一来,机器的不平衡性每一天都会偏爱不同的数字,而贾格尔现在可没法知道到底哪些数字才能赢钱了。

 

于是钱又开始溜出贾格尔的钱包,也最终让贾格尔离开了赌场。贾格尔带着32.5万美元离开了蒙特卡洛,就此结束了他的赌徒生涯。以现值计算,这笔钱大约有500万美元。

 

贾格尔的方法看似稳妥可靠,实际上却并不那么简单。哪怕一个轮盘赌机达到了所谓完美的平衡性,0、1、2、3等这些点数也不会以绝对相等的频率出现。那些出现频率较高的数字可不会出于礼貌而留步,以便让掉队的家伙们赶上来。实际上,肯定会有某些数字出现得比平均水平更频繁,而另一些则达不到平均水平。

 

所以,即使进行了6天的观察,贾格尔仍然有可能出错。他发现的某些数字的更高出现频率,其实也有可能还是一个随机的结果,而并非说明这些数字的出现概率确实更高

 

换言之,贾格尔也需要面对本章开头的问题:

 

对于一系列未知概率,如果我们通过由此产生的结果进行观察,那么这个观测结果与未知概率的吻合程度到底有多高呢?

 

我们已经看到,帕斯卡的工作是在科学革命的新氛围中才得以完成的。同样,现在这个问题也是在一次新的革命期间才获得答案的,而这个革命就是微积分的发明。

 

 

03

 

 

1680年,一颗巨大的彗星掠过我们附近的太空。它离地球非常近,因此哪怕仅凭它反射的那微不足道的阳光,就足以让它成为夜空中引人注目的主角。

 

在之后的几个月中,它成为人们充满热情、细致入微的调查对象,人们对它的运行轨迹不厌其烦地做着记录。

 

1687年,牛顿用这些数据作为他平方反比定律的例子。

 

而在瑞士巴塞尔这片土地上,另一个注定要成就伟大功业的人,同样在一个晴朗的夜晚注视着这颗彗星。

 

这名年轻的神学家凝视着彗星那明亮而弥漫的光芒,突然意识到他希望为之奉献一生的,不是教会,而是数学。

 

这个神学家叫雅各布·伯努利,这个意识不仅带来了他个人职业生涯的改变,也诞生了数学史上最伟大的一棵家族树:从雅各布出生到1800年的一个半世纪里,伯努利家族贡献了8位知名的数学家,而其中3位更是成为历史上最伟大的数学家这一群体的成员。

 

1681年,雅各布·伯努利出版了一本小册子,书名是冗长的《一种新发现的方法:如何将彗星或扫帚星的路径简化为某些基本定律,并预测它的出现》。

 

由于伯努利的出众天分,他很快被数学家团体接纳。

 

伯努利当时正在研究随机博弈的问题。在那些对他影响最大的人中,就有荷兰数学家与科学家克里斯蒂安·惠更斯。惠更斯的书确实为伯努利带来了灵感,但他同样在惠更斯的理论中看到了严重的局限性。

 

对于随机博弈而言,这个理论也许够用了,但是对于那些更具主观性的生活中的方方面面来说,这个理论的适用性又如何呢?列如:我们应当怎样做,才能给法庭证言的可信度赋予一个确定的合理概率呢?

 

伯努利相信,如果想要让理性的决策成为可能,就必须有一个可靠的数学方法来确定概率

 

他的这种观点实际上反映了他所处时代的文化氛围。在当时的氛围中,一个人被大家认为具备理性的一个标志,就是他能按照符合概率期望的方式行事。

 

但在伯努利看来,主观性并非禁锢旧的随机理论的唯一因素。他也认识到,这个理论不是为无知的情况设计的,在这种情况下,虽然我们原则上能够定义每种可能结果的发生概率,但这些概率的值实际上是未知的

 

这就是我与莫希谈论的问题,也是贾格尔需要解决的问题:一个不完美的骰子扔出6点的机会有多大?

 

在主观和不确定的情况下指望我们能掌握惠更斯书中所预设的那些先验概率,这种念头在伯努利看来,简直就是一种“精神错乱”。

 

正如贾格尔所做的,伯努利认识到这个问题的答案就是:我们不应该依靠那些硬塞到我们手中的概率,而应该通过观测找出这些概率。作为一名数学家,他努力将这个思路精确化。

 

假定我们对一台轮盘赌机进行了若干次观察,那么我们由此估计得到的每个槽获胜的概率,跟隐含的真实获胜概率相比,两者有多接近呢?对于这样估计得到的概率,我们对其正确性又该抱有多强的信念呢?

 

我们将在下一章回顾这些问题,因为它们并不是伯努利能解决的问题。伯努利回答的实际上是与之紧密相关的另外一个问题:我们的观测结果能以多高的准确度,来体现造成这些结果的隐含概率?

 

伯努利认为,随着实验次数的增加,我们显然有理由期望,实际观测到的各种结果的出现频率,应该能越来越精确地体现真实的概率。

 

他肯定不是最早有这种念头人,不过他是把问题进行形式化处理,将思路转化为证明并利用量化的方式进行处理的第一人。

 

他提出的问题具体一点儿说,是这样的:要通过观测结果估计概率,我们至少需要做多少次实验?对于这样得到的结果,我们对它的正确性又有多大把握?

 

在解决这些问题的过程中,他同时认识到微积分这个新学科的重要性,并成为最早认识到这一点的人群中的一员。

 

事后看来,伯努利在巴塞尔被提名为教授的那一年,在数学史上具有里程碑式的意义:正是在那一年,戈特弗里德·莱布尼兹发表了一篇革命性的论文,他在其中阐述了微积分运算的原理。

 

雅各布·伯努利参透了莱布尼兹的思想,他拥有了一件有力的武器,能轻而易举地解决足以令他人望而却步的难题。

 

跟伯努利的工作一样,微积分的核心概念就是序列、级数和极限。

 

……

 

虽然现代的极限概念要到伯努利过世很久之后的19世纪才会出现,但正是这个概念,蕴涵了微积分的核心思想。

 

雅各布·伯努利也正是用这个思想,来处理概率与观察结果之间的关系的。

 

更具体点儿说,伯努利研究的是任意大数量的重复实验所给出的极限情况。将一枚硬币扔上10次,也许有7次是正面朝上;但如果这个扔硬币的次数是一个无限大的数目,那么最可能得到的正面朝上的比例将非常接近50%。

 

20世纪40年代,南非数学家约翰·克里奇决定用实验来验证一下这个结论。他把一枚硬币扔了又扔,扔了1万次,然后记录下每次扔出的结果。根据克里奇得到的数据,在前100次中,得到正面朝上的比例只有44%;但到了1万次的时候,得到的结果就很接近对半开了:正面的比例为50.67%。

 

但我们应该用什么样的定量公式来描述这个结果呢?这正是伯努利取得的成就。

 

他在这项研究上投入了整整20年。这个耗费了20年努力才达到的巅峰,被雅各布·伯努利称为“黄金定理”。不过这个定理的各个现代版本有好几个名字:伯努利定理,大数定律,以及弱大数定律。

 

正如我们已经看到的,使用大数定律这个术语,是因为伯努利定理所说明的,就是大量观测的结果是如何体现隐含概率的。

 

 

04

 

 

尽管伯努利对定理在实际中的应用很感兴趣,但他在举例的时候,却最喜欢用一样恐怕我们大多数人家里都找不到的东西:一个装满了各色鹅卵石的瓮。

 

在一个例子中,他这个瓮里装了3000颗白鹅卵石和2000颗黑鹅卵石,也就是60∶40的白黑比例。

 

然后我们蒙上眼睛,从这个瓮里“返还式地”摸出一系列鹅卵石。这里的“返还式”的含义,是指我们在取出下一枚鹅卵石之前,要把上次取出的石子放回瓮里,以保证3∶2的白黑比不会发生改变。这样一来,我们每次摸到白色石子的先验概率就是60%。

 

在这个例子里,伯努利所关心的问题是:按照这种方式摸出一系列石子后,其中白色石子的数量跟这个60%的比例吻合的程度有多好?而发生这种吻合程度的概率又是多少?

 

这个瓮是个好例子,因为用来描述从瓮里摸取鹅卵石的那些数学内容,也能用来描述任何一系列具有两种可能结果的试验,只要这些结果的出现是随机的,且各次试验结果相互独立。

 

我们现在称此类试验为伯努利试验。投票给候选人A或B,生男或生女,买或不买某件商品,病愈或未愈,这些也都是伯努利试验用到的例子。

 

理解了这一点之后,让我们再回到那个瓮上。如果你从瓮里取出100颗鹅卵石,有可能只抽到50颗或59颗白色石子。

 

那么,你取出的石子中,58%到62%的石子是白色的机会有多大?如果你不是取100颗,而是取1000颗或100万颗鹅卵石,那么这时我们对结果的信任又能增加多少?我们当然永远没办法百分之百地确信这样做得到的结果,但是我们能不能抽取足够多的鹅卵石,从而有99.9999%的把握,保证取到白色石子的比例在59.9%到60.1%之间?

 

伯努利的黄金定理要解决的,就是诸如此类的问题。

 

 

05

 

 

在应用黄金定理之前,你需要首先进行两个选择。

 

首先,你要给定一个可容忍的误差范围。大量试验的结果与真实的60%的比例,两者之间应该有多接近呢?你必须就此指定一个接近的范围,比如60%±1%或2%或0.00001%。

 

其次,你必须明确你对不确定性的容忍度。你永远无法100%地确定试验会给出你想要的结果,但你能够有把握做到比如在100次试验中获得99次满意的结果,或者在1000次试验中有999次是满意的。

 

黄金定理指出,你总能通过取出足够多的鹅卵石,保证你能几乎确定所得的白色鹅卵石比例很接近60%,而不论几乎确定和接近的定义是何等严苛。而且,在给定了这个几乎确定和接近的具体数值后,定理还给出用来计算这个“足够”次数的数学公式。

 

定理的第一部分是一次理念上的胜利,也是定理中唯一能幸存到各个现代版本中的部分。

 

而关于伯努利公式的第二部分:尽管黄金定理给出一个足以满足你要求的置信度与准确度的试验次数,但这并不意味着我们不能通过更少的试验来达到同样的目标

 

这里有一个伯努利自己解出的数值例子,我稍微改动一下文字的先后顺序:

 

假设巴塞尔市长在选民中的实际支持率为60%;现在我们希望对选民进行民意调查,要使调查显示对市长的支持率在58%到62%之间的概率为99.9%,那么至少需要调查多少位选民(返还式)?这个问题的答案是25550人。这也差不多就是伯努利那个年代巴塞尔城的人口。

 

伯努利并没有将这个不实用的结果扔到一边,因为他知道,老练的赌徒根本用不着几千次试验,就能凭直觉猜出一种新的赌博方式中获胜的概率

 

伯努利的公式给出的估计值如此不理想的一个原因,是他的证明基于许多近似值。还有一个原因是,他选择的置信度标准是99.9%,也就是说结果出错的概率小于1/1000。这实在是一个非常苛刻的标准(现在称为统计显著性)。

 

统计学家利用现在的数学方法已经证明,对上面那个民意调查,我们只需要抽查区区370名被调查者,就能得到一个具有统计显著性的结果,其准确度在正负5%之间。如果调查人数上升到1000人,那么调查结果落在真实答案2个百分点的误差范围内的可能性是90%。

 

尽管伯努利的黄金定理存在各种局限,但是它仍然是数学史上的一座里程碑,因为它至少从原则上证明了,足够大的样本几乎能肯定地反映出被采样群体的真实构成。

 

 

06

 

 

在现实生活中,我们通常不会靠几千次的试验来观察人或事物的表现。因此,如果说伯努利错在把确定性标准定得过于严格了,那么在实际生活中,我们常常又会犯下相反的错误:

 

我们假设一个样本或一系列试验的结果体现了潜在情况,但实际上它太小了,并不可靠。

 

举例来说,我们恰好调查了5位巴塞尔居民,这个调查能够得到正确的结果,也就是被调查者中的60%支持市长,这种情况出现的可能性仅为1/3。

 

小样本准确反映潜在概率的错误观念如此普遍,以至卡尼曼和特沃斯基给它专门起了个名字:小数定律。

 

小数定律并不是一条正儿八经的定律,它只是一个带有讽刺性的名字,用来描述在数字不大的情况下,试图应用大数定律的错误做法

 

我们之前已经提到过,我们生活中的许多事情都可以被看成伯努利过程,因此这个小数定律的直觉,经常让我们对我们看到的事物做出错误的解释。

 

现在,我们把上面的解决思路用到第4章提到过的一个例子上。

 

让我们考察一下《财富》500强公司的首席执行官们。我们假设,这些首席执行官每人都因其学识和能力有一定的概率(60%)获得成功。这是不是意味着,我们应该预期,在某个给定的5年内,一位首席执行官恰好会有3年的好时光?

 

并非如此。之前的分析表明,即使这些首席执行官都有一个还算过得去的60%的先验成功率,但在某个给定的5年期间,某特定的首席执行官的职场表现准确符合这一成功率的可能性,仅仅是1/3!

 

这就意味着在过去的5年中,大约有333名首席执行官的实际表现并没有反映出他们真正的能力。我们还可以进一步指出,很可能有约1/10的首席执行官在这5年中会连赢或连输,而造成这种结果的不过是偶然因素

 

这个事实告诉了我们怎样的道理?

 

它告诉我们,评价一个人更可靠的方法,应该是具体分析他具备的能力,而不是仅仅看业绩表上的分数。或者用伯努利的话来说:“我们不应该以成败论英雄。”

 

要摆脱小数定律的控制,我们需要一些特殊的能力。躺在沙发里,看着业绩表的最下一行,然后指点一番,这是任何人都能做到的。

 

高管们的成功总会被归功于他们的聪明才智,而且这些才智是通过深刻的后见之明得来的。而当他们失败时,我们又常常认为这些失败准确地反映了他们的天分与能力的高低。

 

雅各布·伯努利已经表明,我们可以通过数学分析,了解自然系统内部的隐含概率是如何在这些系统产生的数据中被反映出来的。

 

至于伯努利没有回答的那个如何根据观测数据推断事件的隐含概率的问题,它的答案在几十年后才会被揭晓。

 

 


往 期 推 荐

 投资中的生物学 | 男女之间的基因对抗

 投资中的科学 | 成为一名多模型思考者
 投资中的管理学 | 押注大梦想
 投资中的哲学 | 石头、剪刀、布,最好的套路就是没有套路
 过去1年,我们推荐过的33本书