被嫌弃的贝叶斯派的逆袭

news2024/3/3 8:26:44

多数人第一次听说贝叶斯定理应该是在中学课堂上。那个公式看起来并不复杂,在一众花里胡哨的考点中显得平平无奇。

但是很快,我们就知道了什么叫深藏不露。从高校教材到研究实战,贝叶斯这三个字频繁地出现在信息科学的重要议题中,它甚至从一个定理变成了一种思想。

这样的转变当然不是一朝一夕完成的。在历史上,贝叶斯主义者花了大约两百多年的时间,冲破重重阻力,才让人们看到贝叶斯定理所蕴含的丰富宝藏。

01

不被认可的新思路

贝叶斯定理

贝叶斯定理看起来确实不怎么惊艳,就连提出者贝叶斯本人也不太重视这个成果,甚至没有在有生之年发表它。在他去世两年后,贝叶斯定理才正式进入人们的视线。

事实上,第一位真正的贝叶斯主义者是拉普拉斯。1774年,这位数学家兼天文学家提出了能够从贝叶斯公式推出的拉普拉斯接续法则

简单来讲,这个法则说的就是,在一件不断重复发生的事件中,人们可以根据以往出现的结果来预判未来的结果。比如,以往太阳天天升起,那么它明天十有八九还是会升起。

但这个体现了贝叶斯式智慧的法则却引来了一大波群嘲。直到19世纪,学界主流仍在批判它。

数学家乔治·克里斯特尔甚至断言,“(这些概率)已经死了,我们应该将它们体面地埋葬在看不到的地方,而不是在课本和试题中介绍它们……我们应该允许自己悄悄忘却伟人的鲁莽之处。”

为什么会这样?

因为在那时,多数人把客观性当作不能碰触的原则。人们认为,你统计到位,计算正确,就可以找到答案,否则就是错了。拉普拉斯接续法则却给概率引入了一定的主观性。

假设我们是远古时代的巨灵,只见过太阳升起五次,如果在这个时候应用拉普拉斯接续法则,那么关于太阳是否会再次升起,我们就会算出一个比较小的概率。随着时间的推移,我们的得数还会变化。在很多人看来,这着实奇葩。

强调客观性的主流学者形成了频率派。依然相信主观性在概率中蕴藏着巨大价值的学者形成了贝叶斯派。

进入20世纪,频率派对贝叶斯派的排挤和打压如此猛烈,频率派的代表人物罗纳德·费希尔甚至用上了“谬误的垃圾”这种极具侮辱性的字眼。

贝叶斯派不得不在夹缝中求生。甚至有时,贝叶斯主义的智慧已经得到证实,贝叶斯派仍然没有机会走到台前。

第二次世界大战

在第二次世界大战期间,艾伦•图灵带领团队破译了德军的恩尼格密码,立下大功。贝叶斯定理在其中发挥了重要作用。可惜这件事涉及太多政治因素,在战争结束后,英国政府选择继续保密。贝叶斯主义失去了一个正名的机会。

在20世纪50年代,英国精算师亚瑟•贝利发现有些同事在使用一些“来历不明”却格外实用的公式。那时的贝利还不知道,这些公式都和贝叶斯定理有着千丝万缕的联系,只是频率派占据着主导地位,把它们全都关在了正统教育的门外。

考虑到贝叶斯主义被排斥了两百多年,很难估计这一类的事件还有多少。但可以肯定的是,再怎么气势汹汹,频率派也无法改变事实。

02

时代给出了答案

事实就是,在频率派无能为力的问题上,贝叶斯派自有妙招。虽然被统计学的小圈子排挤,但在更加注重实干的领域,情况在悄悄改变。

比如,罗伯特•施莱弗和霍华德•赖法借助贝叶斯主义视角提出了包含不确定性的决策论。杰尔姆•科恩菲尔德在研究烟草的致癌问题时实践了贝叶斯统计,得出了重要结论。

美国国家航空航天局也曾聘请掌握了贝叶斯主义工具的机构,预测火箭发射出现重大事故的概率。在所有这些例子中,贝叶斯派理论都比频率派理论更有活力。

终于,贝叶斯派等到了逆袭的最佳的时机,那就是计算机科学的诞生和兴起。20世纪60年代,雷·所罗门诺夫将图灵的可计算性理论和贝叶斯公式结合起来,搭建了人工智能一般性框架的前身。

20世纪80年代,蒙特卡罗方法给贝叶斯公式的实际应用带来了革命。一个名为吉布斯抽样贝叶斯推断的程序更是宣布了贝叶斯主义的胜利。

贝叶斯派迎来新的发展。贝叶斯早已不再等同于一个公式或是一种主张,它的方法越来越先进,理论根系越来越发达。

统计学领域有一句名言:“所有模型都是错的,但有些是有用的。”出自在贝叶斯推断等方面做出重要贡献的统计学大师乔治·博克斯。这句话在某种意义上也成为了贝叶斯主义方法论的体现。

频率派很像老派的经典科学,喜欢强调确定性,而贝叶斯派则更像同样在20世纪掀起争议的量子力学。在频率派看来,参数就算未知也是客观的,而贝叶斯派则会说,参数也是千变万化的。他们深知任何一件事都有数不清的前因后果,寻找绝对客观几乎是不可能的。

既然如此,那就应该以动态的眼光看待模型,甚至想办法尽量多融入一些信息,再针对更为具体的目的产出结果。对于纯粹贝叶斯主义者来说,互不相容的模型不仅可以同时存在,还是件好事。

这种听起来有些不可思议的行事方法却在计算机的帮助下大放异彩。现在,贝叶斯式的智慧已经渗透到了人类社会的方方面面,涉及的领域包括但不限于:医学诊断、保险、金融、人工智能、神经科学、广告、物流、信号处理、航空航天工程……

可以说,没有一个现代人的生活与贝叶斯派毫无关系。

03

用贝叶斯主义者的眼睛看世界

更加令人惊奇的是贝叶斯主义和一些终极问题之间的关联。

图灵-丘奇论题告诉我们,宇宙中的任何东西都不能完成图灵机无法完成的计算。这意味着拥有足够的数据时,通用图灵机可以模拟整个宇宙。

既然如此,未来人们有没有可能拥有科幻小说中那种计算一切的机器呢?能不能用它来破解宇宙中的一切秘密呢?

雷·所罗门诺夫以贝叶斯主义者的方式回答了这个问题。他提出一个有趣的公式,叫“所罗门诺夫归纳法”。这个公式也被一些年轻的贝叶斯主义者称为贝叶斯定理的终极形态。

理论上讲,如果输入的数据中含有某种模式,这个公式最终会找到它,所需时间和所罗门诺夫复杂度成正比。这似乎是一个乐观的结论,然而所罗门诺夫归纳法是不可计算的。计算一切的机器依然要留在人们的幻想里。

那么这个理论还有什么用处呢?

有的,它说明了完备性和可计算性之间的矛盾。所罗门诺夫指出,所有可计算的知识哲学都不可能检测出数据中的所有规律。换个说法,任何可计算的知识哲学都有可能在某种条件下持续给出错误的预测,这和哥德尔的不完备性定理形成了微妙的映照。

即便突破了种种不可能,拥有了满足条件的图灵机,可以运行所罗门诺夫归纳法,宇宙也有办法欺骗我们,只要有一段代码的所罗门诺夫复杂度大于提供的信息量即可。如此一来,即便拥有无穷无尽的计算能力,你也无法确认任何真理。

从另一个角度看,支配自然界甚至人类社会的规律也隐藏着贝叶斯式的逻辑。如果我们对生物学中的洛特卡-沃尔泰拉方程进行一些代数运算,推出支配种群中不同变种所占比例变化的方程,就会发现它和贝叶斯公式有着惊人的相似之处。

自然界的演化智慧创造了人脑,我们现在才开始尝试用人工智能来模仿它。而在人类文明演进的历史中,不同民族、不同背景的人观念和习俗的形成背后,也藏着先验概率和后验概率的强大引导。

既然如此,我们究竟生活在一个什么样的世界里呢?

从贝叶斯派的视角来讲,即便你说“我们的世界是假的,是神的虚拟程序”,这个回答也不必马上被打上“荒谬”的标签。这样宏伟的问题也许永远不会有定论,但假设真的存在所谓的神,那祂一定是个淘气又充满活力的贝叶斯主义者。

写在最后

频率派喜欢说贝叶斯派不客观,或者说持有偏见,但贝叶斯派的智慧恰恰是一种关于偏见的智慧

在现实中,没有谁是全知全能的。有的人因为害怕犯错而不再前进,有的人干脆否认偏见的普遍存在,把经过有限验证的道理当成普适真理。

而贝叶斯派则接受偏见的存在,他们相信,所谓追求真理,就是人们从偏见出发,一步步走向客观的过程。

他们愿意以动态的视角看待真理,也愿意不断学习,不断走出偏见——贝叶斯派的精神就在于此。

关于贝叶斯主义,值得详细了解的内容还有很多。比如贝叶斯主义造就的所罗门诺夫妖,比如贝叶斯方法和过度拟合,再比如贝叶斯大脑。

所有这些内容,你都可以在这本书里找到——《贝叶斯的博弈》

# 今日荐书 · 互动# 

  • 说说你觉得最了不起的贝叶斯应用是什么?

  • 挑选1位幸运同学,送出你想要的一本书,5月8日开奖!

点击图片购买

题图:freepik.com

喜欢这篇文章?点个“在看”吧~▼

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://nwjs.net/news/141835.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

ICLR 2021论文接收统计出炉!Top20 机构,国内仅清华在榜!

转载自:AI科技评论ICLR 2021于前些天正式放榜,本次ICLR 2021一共有2997篇有效论文投稿,最后一共860篇被接收,录取率达到了28.7%,相比去年的26.5%有提升,与其他一些AI顶会大幅降低接收率相比,ICL…

为什么 Linux 和 macOS 不需要碎片整理

为什么这么设计(Why’s THE Design)是一系列关于计算机领域中程序设计决策的文章,我们在这个系列的每一篇文章中都会提出一个具体的问题并从不同的角度讨论这种设计的优缺点、对具体实现造成的影响。如果你有想要了解的问题,可以在…

GPT「高仿」问世:GPT-Neo,最大可达GPT-3大小,已开源 | AI日报

GPT“高仿”问世:GPT-Neo,最大可达GPT-3大小,已开源近日,有个名叫 EleutherAI的团队(创始成员为:Connor Leahy,Leo Gao和Sid Black),宣布推出GPT-Neo开源项目&#xff0c…

Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

下面内容来自智源研究院CVPR2021预讲华为诺亚专场 1、深度学习的图像去噪方法面临的挑战 当前方法主要包括三类: 基于监督学习的方法:使用 noisy-clean 图像对进行训练(DnCNN, FFDNet, CBDNet, SGNet)。这类方法的难点在于&…

《Pro/ENGINEER野火版5.0从入门到精通》——1.3 体验Pro/E野火版5.0

本节书摘来自异步社区《Pro/ENGINEER野火版5.0从入门到精通》一书中的第1章,第1.3节,作者 暴风创新科技,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 体验Pro/E野火版5.0 Pro/E野火版5.0与其他软件类似,操作程序时…

CVPR 2021评审出炉,评审员奇葩意见遭热议 | AI日报

CVPR 2021评审出炉,评审员奇葩意见遭热议1月18日,CVPR 2021的评审结果出炉。根据CVPR 2021 程序主席、FAIR研究科学家Georgia Gkioxari近日在推特上的发文数据:今年共有7015篇有效提交论文,每篇论文都至少有3个评审结果&#xff0…

书评 | 9 年码龄工程师读 Android 经典

作为一个码龄 9 年的 Android 开发工程师,因业界大前端趋势,从18 年开始更多的时间专注在 React Native 上,Android 相关新技术日渐生疏了。Kotlin 和 Jetpack 等新技术一直缺乏上手了解的机会,是时候通过一本书体系化地了解一下相…

stylegan2 示例命令fused_bias_act.cu环境配置异常(无法打开包括文件: “tensorflow/core/framework/op.h”

在python运行stylegan2示例时,运行过程中,触发fused_bias_act.cu中的异常,可以看到fused_bias_act.cu中实际上是用c/c写的实现代码. 仔细看异常信息会发现这句话 无法打开包括文件: “tensorflow/core/framework/op.h”: 解决策略 1.首先确保你安装了c/c工具集,版本号可以有些…

中科院计算所沈华伟:GNN发展简史,诟病才是成长动力

文:周寅张皓图神经网络(Graph Neural Network)的应用在近年来蓬勃发展,但同时对其质疑也从未消失。诸如对与大规模图数据的存储问题,表达能力问题,以及数据集的规范问题引发了许多讨论。中科院计算所沈华伟…

赠书活动 | 数据挖掘经典入门

赠书活动在 AINLP 公众号。这本书相当受欢迎(前两个版本累计销量超过 5 万册),尤其是受学校青睐——在此也说声抱歉,出于出版时间的原因,很多学校依然采用了旧版作为教材;同时也请知悉,新版已上…

《C语言编程初学者指南》一2.9 理解运算符优先级

本节书摘来自异步社区《C语言编程初学者指南》一书中的第2章,第2.9节,作者【美】Keith Davenport(达文波特) , M1ichael Vine(维恩),更多章节内容可以访问云栖社区“异步社区”公众号查看 2.9 …

产品开发的 11 宗罪

题图 | created by freepik最近图灵君在翻看一本比较小众的书:《硬件产品设计与开发:从原型到交付》,没成想翻开前言和第 1 章都很惊艳,尤其是第 1 章总结的《产品开发的 11 宗罪》,真的让我受益匪浅。因为这篇文章总结…

盘点:2020 年机器学习 10 大进展

转载自:机器之心2020 年因为新冠疫情,很多人不得不在家工作和学习,大量人工智能学术会议也转为线上。不过在去年我们仍然看到了很多 AI 技术领域的进展。DeepMind 研究科学家 Sebastian Ruder 近日帮我们对去年的机器学习社区进行了一番总结。…

《精通自动化测试框架设计》—第1章 1.3节五天太久,还能压缩吗

本节书摘来自异步社区《精通自动化测试框架设计》一书中的第1章,第1.3节五天太久,还能压缩吗,作者陈冬严 , 邵杰明 , 王东刚 , 蒋涛,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 五天太久,还能压缩吗两…

终于!有本书把我从“看完就忘、死记硬背”的学习困境中拯救出来了!

设想一下,你面前有一堵由5000个魔方组成的魔方墙,从中间分割成两块,左右各2500个,并且它们的图案完全一致!这时,有人从右边的墙上随机挑选一个魔方,让九个方格中的一个变换颜色,你能…

一秒看遍10万神经元的「绚丽烟花」,AI究竟向大脑学什么?|北大陈良怡专访...

作者:梦佳大脑是人类进化的高级产物,重量约1.5公斤,占体重2%,功耗约20瓦,占全身功耗20%,当前人类对大脑的认识还不足5%,尚无完整的脑谱图可供参考。毫无疑问&…

一本真正讲“大数据”处理思路的书

这是我读到的第一本真正讲“大数据”处理思路的书,我想分享一下我读了这本书的感悟。一般情况下,在面对海量数据的时候,我们的软件架构也会跟着发生变化。当你的数据量在内存里放不下的时候,你就得考虑硬盘;当你的硬盘…

这些代码改变了科学界:从Fortran、arXiv到AlexNet

转自:机器之心2019 年,「事件视界望远镜」团队拍下了第一张黑洞照片。这张照片并非传统意义上的照片,而是计算得来的——将美国、墨西哥、智利、西班牙和南极多台射电望远镜捕捉到的数据进行数学转换。该团队公开了所用代码,使科学…

不存在完美的入门书,但是有些书在某些方面很惊艳

题图 | Technology vector created by stories - www.freepik.com前段时间收到了明发哥翻译的《Android 编程权威指南(第4版)》,许久没有打开纸质书,但翻阅时的纸墨味儿依旧,仿佛回到了几年前初学 XML 布局的时候。我从…

两院院士评选2020年中国、世界十大科技进展揭晓,「机器学习模拟上亿原子」等入选 | AI日报...

两院院士评选2020年中国、世界十大科技进展揭晓,「机器学习模拟上亿原子」等入选由中国科学院、中国工程院主办,中国科学院学部工作局、中国工程院办公厅、中国科学报社承办,腾讯集团发展研究办公室协办的中国科学院院士和中国工程院院士投票…