因果推断

确认一个变量和它的影响之间存在因果关系的过程

因果推断是一种研究因果关系的科学方法,旨在确定某个现象(因)对另一个现象(果)的独立影响。与传统的相关性分析不同,因果推断专注于探究当原因变量发生变化时,结果变量的具体响应。[1][2] 这一领域在人工智能医学社会科学经济学中得到了广泛应用。[3]

因果推断的核心任务是通过数据分析揭示隐藏的因果关系。它不仅需要构建因果模型,还必须满足特定假设,以确保推断结果的可靠性。这些假设包括无混杂变量假设(不存在未观测的混杂因素)、共同支持假设(不同处理方式的分布具备可比性)、以及稳定性假设(个体间的治疗效果互不干扰)。

因果推断起源于早期专家系统的推断引擎,但当时的系统依赖预设规则,难以实现数据驱动的智能推断。随着统计学和人工智能的发展,因果推断逐渐形成了系统的方法论,并在医疗、经济政策评估和社会实验设计等领域展现了巨大潜力。

因果推断的最大挑战在于反事实分析:我们无法同时观察同一个体在不同处理方案下的结果。这一问题被称为“因果推断的基本问题”。科学家只能依赖对照组和实验组数据,通过统计推断间接估算因果关系。此外,因果推断对模型的假设依赖较高,若假设不成立,结果可能具有偏差。

尽管如此,因果推断近年来取得了显著进展。其广泛适用性和理论创新,使其成为人工智能、医疗诊断和政策制定等领域不可或缺的工具。

定义

推断原因的过程可描述为:

  • “⋯⋯通过推理总结出某事是,或很可能是,其他事的原因。” [4]
  • “通过建立原因和结果之间的协变、时序关系,以及通过排除可能的替代原因,识别出现象的一个或多个原因的过程。” [5]

方法论

通用方法

当系统的一个变量可能影响另一个变量时,可以进行因果推断。因果推理是根据科学方法进行的。因果推断的第一步是制定一个可证伪的虚无假设,随后用统计方法对其进行检验频率学派推断利用统计方法确定数据在零假设下偶然出现的概率:用贝叶斯推断确定自变量的影响。一般而言,统计推断可用于区分出原始数据变量的变化是出自随机浮动,抑或是明确的因果机制的影响。[6]注意,相关不蕴涵因果,因此对因果关系的研究,以及对潜在因果机制(例如中介变项的存在性)的研究,都需要同样关注数据之间的变化。[来源请求]因果推断研究经常希望进行随机对照试验,其中干扰因素全部维持不变。此为推断因果的一个标准方法。因果推断中最消耗精力的部分往往在于试图复制实验条件。

流行病学研究采用不同的流行病学方法英语Epidemiological method来收集和测量危险因子和结果的数据,以及使用不同方法刻划这种关联性。2020年一份对因果推断方法的综述发现,要将现有文献用于临床培训将会很有挑战性。这是因为这些已发表的文章通常预设读者有深厚的技术背景,它们可能从统计学、流行病学、计算机科学、哲学的角度切入;而且各种不同方法论的方法继续迅速扩展;此外,因果推断的许多角度在文献中篇幅有限。 [7]

因果推理的常见框架是结构方程模型英语Structural equation modelling鲁宾因果模型[来源请求]

实验方法

实验方法可以验证因果机制。实验是为了有目的地操纵感兴趣的变量,同时保持其他实验变量不变。仅操纵某变量的情况下,若对实验结果产生了统计上显著的影响,则有理由相信该变量引发了一定的因果效应(但需同时假设实验设计满足了一定的标准)。

准实验方法

当传统的实验方法不可用时,可以对因果机制进行准实验验证。这可能是由于实验的成本过高,或者实验本身就不可能进行,例如研究大型系统(如与选举制度相关的经济学)的实验,或可能对测试对象造成危害的试验。出于法律原因无法收集信息的情况下,也可能进行准实验。

流行病学方法

流行病学研究特定生物群体的健康和疾病模式,以推断起因和结果。假定的危险因子与疾病之间的相关性可能提示了因果,但并不等同于因果,因为相关不蕴涵因果。从历史上看,柯霍氏法则自19世纪以来一直被用于确定微生物是否是疾病的起因。在20世纪1965年总结出的希尔准则[8]则早已用于评估微生物学以外的因果关系,但这些标准也不是确定因果关系仅有的方法。

分子流行病学英语Molecular Epidemiology中,研究现象属分子生物学层级。其中遗传学层面的生物标记可以是因果关系的证据。

最近的趋势[何时?]是在新兴的分子病理流行病学英语Molecular pathological epidemiology(MPE)的跨学科领域中,在分子病理学英语Molecular pathology层面上确定风险因子对于患病组织或细胞的影响的证据。将因子与疾病的分子病理特征联系起来可以帮助评估因果关系。[需要第三方来源]生物医学和公共卫生科学的研究趋势也包括研究特定疾病内在的异质性、“独特疾病原理”(unique disease principle,即不同病人有不同病程[9])、疾病表型和亚型,亦体现在个体化医疗英语Personalized medecine精准医学上。[需要第三方来源]

计算机科学方法

对某些模型而言,从两个时间独立变量(例如X和Y)的联合观测数据中,可以根据X → Y(表示X是Y的原因,下同)和Y → X两个方向的数据之间的不对称性确定其因果关系。主要方法基于算法信息论模型和噪声模型。[来源请求]

噪声模型

在模型中加入一个独立的噪声项来比较两个方向的数据。

以下是在假设Y → X下,引入噪声E的一些噪声模型:

  • 加性噪声: [10]  
  • 线性噪声: [11]  
  • 后非线性噪声: [12]  
  • 异方差噪声:  
  • 函数噪声: [13]  

这些模型中的共同假设是:

  • 不存在Y的其他原因(前置项)。
  • X和E没有共同的原因。
  • 原因的分布独立于因果机制。

直观的想法是,将联合分布P(原因, 结果)分解为P(原因)*P(结果|原因)的总复杂度通常会低于分解为P(结果)*P(原因|效果)。此处“复杂度”的概念尽管在直觉上很有吸引力,却没有明显的精确定义。[13] 另一系列的方法则试图从大量标记数据中发现因果“足迹”,从而预测更灵活的因果关系。 [14]

社会科学方法

社会科学

总体上,社会科学越来越倾于在因果评估中引入定量框架。很多这样的研究为社会科学方法论提供了更严格的手段。1994年Gary King、Robert Keohane和Sidney Verba出版的《社会研究的设计英语Designing Social Inquiry》对政治学影响深远。King、Keohane和Verba建议研究人员同时应用定量和定性方法,并采用统计推断的语言来更清楚地了解他们感兴趣的主题和分析单位。 [15] [16]定量方法的支持者也越来越常采用唐纳德·鲁宾英语Donald Rubin开发的潜在结果模型作为推断因果关系的标准。[来源请求]

尽管社会科学仍然大部分著重于在潜在结果框架中进行统计推断,方法论者开发了新工具,同时使用定性和定量方法,进行因果推断,有时称为“混合方法”方法。[17] [18]使用多元方法的倡导者认为,不同的方法论适用于不同研究主题。社会学家Herbert Smith和政治学家James Mahoney、Gary Goertz引用了统计学家Paul Holland的观察(1986年文章〈统计和因果推断〉[19]的作者):统计推断最适合评估“原因的影响”而不是“影响的原因”。[20] [21]定性方法论者认为,因果关系的形式化模型,包括过程追踪英语Process Tracing模糊集理论,能藉识别案例研究中的关键因素,或藉比较几个案例研究,而提供推断因果的机会。 [16]在可观察量有限,或存在混杂变量的情况下,统计推断的适用性会受限,但此时前述方法仍很有价值。[来源请求] 

经济学和政治科学

经济学政治科学中,由于现实世界中经济和政治的复杂性,以及许多大规模现象无法在受控实验中重现,因果推断通常很困难。由于社会科学家可用的技术提高,加之有更多社会科学家和更多研究,社会科学的因果推理方法又有普遍改进,所以经济和政治科学中的因果推理在方法论和严谨性方面继续得到改进。[22]

尽管确定经济系统中的因果关系本质上很困难,在这些领域中存在几种广泛采用的方法。

理论方法

经济学家和政治学家可以使用理论(通常在理论驱动的计量经济学)来估计在他们认为存在因果关系的情况下,所谓的因果关系的大小。[23]理论家可以预设一个因果机制,并使用数据分析来描述其影响,以证明他们提出的理论是合理的。例如,理论家可以使用逻辑来构建模型,例如假说降雨会导致经济生产力波动,但反之则不然。[24]然而,不提供任何预测见解的纯理论主张被称为“前科学”,因为没有方法预测假定的因果关系的影响。[25]值得重申的是,社会科学中的回归分析本质上并不意味著因果关系,因为仅考虑短期或特定数据集时,可能许多现象表现相关,但在其他时间段或其他数据集并无相关性。因此,若无明确定义的合理因果机制,就断言相关属性具有因果属性,为时过早。

辅助变量

辅助变量(IV)技术是一种确定因果关系的方法。该方法可以消除模型内某解释变量与模型的误差项之间的相关性。这是基于以下原理:如果模型的误差项与另一个变量的变化密切相关,则模型的误差项可能是该解释变量变化的影响。通过引入新的工具变量来消除这种相关性,就能减少整个模型中存在的误差。 [26]

模型指定

模型指定即是选择用于数据分析的模型。社会科学家(实际上,所有科学家)必须正确地选用模型,因为不同的模型擅长估计不同的关系。[27]

指定特定模型可用于确定缓慢出现的因果关系,其中一个时期内某项行动的结果只能在以后的时期出现。值得记住的是,相关性仅衡量两个变量是否具有相似的变化,而非其中一个变量是否单向影响另一个变量;因此,不能仅根据相关性来确定因果关系的方向。因为相信先有因再有果,社会科学家会用模型来专门寻找一段时间内一个变量对另一个变量的影响。这导致计量经济学中,较早发生的现象的变量被视为治理手段(treatment),计量测试则用于寻找数据中此类治理导致的后期变化。若数据中,前期治理手段中有意义的区别紧接著后期结果的有意义的区别,则可能表明治理和变化之间的因果关系(例如,格兰杰因果检验)。此类研究是时间序列分析的示例。[28]

敏感度分析

在同一模型的不同实现中,可能包含或排除不同的变量(回归分析中称为回归量),以区分研究不同的变化来源。这是敏感性分析的一种形式:它研究模型的实现对于添加新变量的敏感性。[29]

使用敏感性分析的主要动机是希望发现干扰因子。干扰因子对统计检验的结果有很大影响,但不是因果推断试图研究的变量。干扰因子可能会导致回归量在一个实现中显得很重要,但在另一种实现中则不然。

多重共线性

另一使用敏感性分析的原因是用于侦测多重共线性。多重共线性是两个变量相关性非常高的现象。两变量间的高度相关性可以剧烈地影响统计分析的结果——高度相关的数据中,细小的变化可能将某个变量的正面影响反转成负面影响,反之亦然。这是方差检验的内禀性质。在敏感性分析中,发现多重共线性很有用,因为在不同的模型实现中删去高度相关变量,就可以避免这些变量带来的剧烈变化。[30]

然而,在预防多重共线性的危害这方面,敏感性分析并不是万能的,尤其是在系统复杂的社会科学中。因为若系统足够复杂,则理论上已不可能考虑所有干扰因子,遑论测量该些因子,所以计量经济学模型容易出现共因谬误,即总结出错误的变量因果关系,而早在原始数据已遗漏正确的变量(共因)。这是一个未能考虑干扰因子的例子。[31]

基于设计的计量经济学

最近,基于设计的计量经济学方法得到改进,令自然实验和准实验研究设计更广泛用于识别因果机制。[32]

因果推断的不端行为

尽管用于确定因果关系的方法的发展取得了进步,但这些方法仍然存在重大缺陷。这些弱点一方面源于确定复杂系统中因果关系的内禀困难,另一方面则源于科学不端行为事件。

撇开因果推断的困难,在一些大的社会科学家群体中,存在大量社会科学家从事非科学的方法论。在经济学和社会学领域内,不乏对于科学家将描述性研究冒充成因果研究的批评。 [25]

科学不端和有缺陷的方法论

在科学领域,尤其是社会科学,学者们担心科学不端行为广泛存在。 因为科学研究主题广泛,即使不是研究者的过错,理论上仍有无限的方式去推翻一个因果关系。但是,科学家仍然疑虑,可能有很多研究者推断因果时,没有履行基本职责,或是没有实践足够多元的方法。[33][34][35] [36]

常见的非因果方法的突出例子是将相关属性错误地假设为因果属性。相关现象中不必然有内在的因果关系。回归模型旨在测量数据中相对于理论模型的变化:即使数据有很高的协方差,也不代表之间有任何有意义的关系(除非已同时提出具有预测特性的因果机制或随机分配治理)。缺陷方法的使用被认为是普遍存在的,这种不当行为的常见例子是过度使用相关模型,尤其是过度使用回归模型,特别地,线性回归模型。 [25]两个相关现象具有内在相关性的假设是一种称为虚假相关性的逻辑谬误。一些社会科学家声称,将虚假相关性视为因果的方法论若被广泛使用,将有损社会科学界的诚信,不过他们亦注意到更好的方法论带来了改进。 [32]

若科学研究将相关性与因果关系混为一谈,则可能产生更多无法获第三方重现粤语再現性的科学结论。这种不可重复性是可预见的,因为该些结论所谓的因果机制,只是将相关性暂时过度概括而成,并无内在因果关系,而新数据不包含之前原始数据的特殊相关性。有关不端行为及因果推断的固有困难的影响的争论仍进行中。[37]批评这些广泛使用的方法论的人认为,研究人员使用统计学的操纵手段来发表文章,而该些文章据称证明因果关系,但实际上只是将虚假相关吹捧为因果关系的证据。这种行为被称为P-hacking英语Data dredging[38]为了防止这种情况,一些人主张,研究人员要在研究之前预先注册他们的研究设计。这样,即使他们在数据分析过程中,在原先调查主题之外,发现其他数据在统计上显著,也不能过分强调该些发现。这些发现往往不可重复。[39]

参见

参考资料

  1. ^ Pearl, Judea. Causal inference in statistics: An overview (PDF). Statistics Surveys. 1 January 2009, 3: 96–146 [2021-07-21]. doi:10.1214/09-SS057 . (原始内容存档 (PDF)于2010-08-06). 
  2. ^ Morgan, Stephen; Winship, Chris. Counterfactuals and Causal inference. Cambridge University Press. 2007. ISBN 978-0-521-67193-4. 
  3. ^ Svetovidov, Andrei; Rahman, Abdul; Batarseh, Feras A. 8 - AI assurance using causal inference: application to public policy. Batarseh, Feras A.; Freeman, Laura J. (编). AI Assurance. Academic Press. 2023-01-01: 293–319. ISBN 978-0-323-91919-7. 
  4. ^ causal inference. Encyclopædia Britannica, Inc. [24 August 2014]. (原始内容存档于2015-05-03). 
  5. ^ John Shaughnessy; Eugene Zechmeister; Jeanne Zechmeister. Research Methods in Psychology. McGraw-Hill Humanities/Social Sciences/Languages. 2000: Chapter 1 : Introduction [24 August 2014]. ISBN 978-0077825362. (原始内容存档于2014-10-15). 
  6. ^ Schrodt, Philip A. Seven deadly sins of contemporary quantitative political analysis. Journal of Peace Research. 2014-03-01, 51 (2): 287–300 [2021-07-21]. ISSN 0022-3433. S2CID 197658213. doi:10.1177/0022343313499597. (原始内容存档于2021-08-15) (英语). 
  7. ^ Landsittel, Douglas; Srivastava, Avantika; Kropf, Kristin. A Narrative Review of Methods for Causal Inference and Associated Educational Resources. Quality Management in Health Care. 2020, 29 (4): 260–269 [2021-07-21]. ISSN 1063-8628. PMID 32991545. S2CID 222146291. doi:10.1097/QMH.0000000000000276. (原始内容存档于2021-08-15) (英语). 
  8. ^ Hill, Austin Bradford. The Environment and Disease: Association or Causation?. Proceedings of the Royal Society of Medicine. 1965, 58 (5): 295–300 [2021-07-21]. PMC 1898525 . PMID 14283879. doi:10.1177/003591576505800503. (原始内容存档于2021-02-19). 
  9. ^ Ogino S, Lochhead P, Chan AT, Nishihara R, Cho E, Wolpin BM, et al. Molecular pathological epidemiology of epigenetics: emerging integrative science to analyze environment, host, and disease. review. Modern Pathology. April 2013, 26 (4): 465–84. PMC 3637979 . PMID 23307060. doi:10.1038/modpathol.2012.214. 
  10. ^ Hoyer, Patrik O., et al. "Nonlinear causal discovery with additive noise models页面存档备份,存于互联网档案馆)." NIPS. Vol. 21. 2008.
  11. ^ Shimizu, Shohei; et al. DirectLiNGAM: A direct method for learning a linear non-Gaussian structural equation model (PDF). The Journal of Machine Learning Research. 2011, 12: 1225–1248 [2021-07-21]. arXiv:1101.2489 . (原始内容存档 (PDF)于2021-07-23). 
  12. ^ Zhang, Kun, and Aapo Hyvärinen. "On the identifiability of the post-nonlinear causal model." Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence. AUAI Press, 2009.
  13. ^ 13.0 13.1 Mooij, Joris M., et al. "Probabilistic latent variable models for distinguishing between cause and effect页面存档备份,存于互联网档案馆)." NIPS. 2010. 引用错误:带有name属性“Mooij”的<ref>标签用不同内容定义了多次
  14. ^ Lopez-Paz, David, et al. "Towards a learning theory of cause-effect inference页面存档备份,存于互联网档案馆)" ICML. 2015
  15. ^ King, Gary. Designing social inquiry : scientific inference in qualitative research. Princeton Univ. Press. 2012. ISBN 978-0691034713. OCLC 754613241. 
  16. ^ 16.0 16.1 Mahoney, James. After KKV. World Politics. January 2010, 62 (1): 120–147. JSTOR 40646193. doi:10.1017/S0043887109990220. 
  17. ^ Creswell, John W.; Clark, Vicki L. Plano. Designing and Conducting Mixed Methods Research. SAGE Publications. 2011 [2021-07-21]. ISBN 9781412975179. (原始内容存档于2021-07-21) (英语). 
  18. ^ Seawright, Jason. Multi-Method Social Science by Jason Seawright. Cambridge Core. September 2016 [2019-04-18]. ISBN 9781316160831. doi:10.1017/CBO9781316160831. (原始内容存档于2021-07-21) (英语). 
  19. ^ Holland, Paul. Statistics and Causal Inference. Journal of the American Statistical Association. 1986, 81 (396): 945–960 [2021-07-23]. doi:10.2307/2289064. (原始内容存档于2021-08-01) (英语). 
  20. ^ Smith, Herbert L. Effects of Causes and Causes of Effects: Some Remarks from the Sociological Side. Sociological Methods and Research. 10 February 2014, 43 (3): 406–415. PMC 4251584 . PMID 25477697. doi:10.1177/0049124114521149. 
  21. ^ Goertz, Gary; Mahoney, James. A Tale of Two Cultures: Contrasting Quantitative and Qualitative Research. Political Analysis. 2006, 14 (3): 227–249. ISSN 1047-1987. doi:10.1093/pan/mpj017 (英语). 
  22. ^ Angrist, Joshua D.; Pischke, Jörn-Steffen. The Credibility Revolution in Empirical Economics: How Better Research Design Is Taking the Con out of Econometrics. Journal of Economic Perspectives. June 2010, 24 (2): 3–30 [2021-08-15]. ISSN 0895-3309. doi:10.1257/jep.24.2.3. (原始内容存档于2021-07-05) (英语). 
  23. ^ University, Carnegie Mellon. Theory of Causation - Department of Philosophy - Dietrich College of Humanities and Social Sciences - Carnegie Mellon University. www.cmu.edu. [2021-02-16]. (原始内容存档于2021-07-11) (英语). 
  24. ^ Simon, Herbert. Models of Discovery. Dordrecht: Springer. 1977: 52. 
  25. ^ 25.0 25.1 25.2 Schrodt, Philip A. Seven deadly sins of contemporary quantitative political analysis. Journal of Peace Research. 2014-03-01, 51 (2): 287–300 [2021-07-21]. ISSN 0022-3433. doi:10.1177/0022343313499597. (原始内容存档于2021-08-15) (英语).  引用错误:带有name属性“:1”的<ref>标签用不同内容定义了多次
  26. ^ Angrist, Joshua D.; Krueger, Alan B. Instrumental Variables and the Search for Identification: From Supply and Demand to Natural Experiments. Journal of Economic Perspectives. 2001, 15 (4): 69–85 [2021-07-21]. doi:10.1257/jep.15.4.69. (原始内容存档于2021-05-06). 
  27. ^ Allen, Michael Patrick (编), Model specification in regression analysis, Understanding Regression Analysis (Boston, MA: Springer US), 1997: 166–170 [2021-02-16], ISBN 978-0-585-25657-3, doi:10.1007/978-0-585-25657-3_35, (原始内容存档于2021-08-15) (英语) 
  28. ^ Maziarz, Mariusz. The Philosophy of Causality in Economics: Causal Inferences and Policy Proposals. New York: Routledge. 2020. 
  29. ^ Salciccioli, Justin D.; Crutain, Yves; Komorowski, Matthieu; Marshall, Dominic C., MIT Critical Data , 编, Sensitivity Analysis and Model Validation, Secondary Analysis of Electronic Health Records (Cham: Springer International Publishing), 2016: 263–271, ISBN 978-3-319-43742-2, PMID 31314264, doi:10.1007/978-3-319-43742-2_17 (英语) 
  30. ^ Illowsky, Barbara. Introductory Statistics. openstax.org. 2013 [2021-02-16]. (原始内容存档于2021-07-21). 
  31. ^ Henschen, Tobias. The in-principle inconclusiveness of causal evidence in macroeconomics. European Journal for Philosophy of Science. 2018, 8 (3): 709–733. doi:10.1007/s13194-018-0207-7. 
  32. ^ 32.0 32.1 Angrist Joshua & Pischke Jörn-Steffen. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton: Princeton University Press. 2008. 
  33. ^ Achen, Christopher H. Toward a new political methodology: Microfoundations and ART. Annual Review of Political Science. June 2002, 5 (1): 423–450 [2021-07-21]. ISSN 1094-2939. doi:10.1146/annurev.polisci.5.112801.080943. (原始内容存档于2021-08-12) (英语). 
  34. ^ Angrist, Joshua D.; Pischke, Jörn-Steffen. The Credibility Revolution in Empirical Economics: How Better Research Design Is Taking the Con out of Econometrics. Journal of Economic Perspectives. June 2010, 24 (2): 3–30 [2021-08-15]. ISSN 0895-3309. doi:10.1257/jep.24.2.3. (原始内容存档于2021-07-05) (英语). 
  35. ^ Dawes, Robyn M. The robust beauty of improper linear models in decision making. American Psychologist. 1979, 34 (7): 571–582 [2021-07-21]. doi:10.1037/0003-066X.34.7.571. (原始内容存档于2021-07-21). 
  36. ^ Vandenbroucke, Jan P; Broadbent, Alex; Pearce, Neil. Causality and causal inference in epidemiology: the need for a pluralistic approach. International Journal of Epidemiology. December 2016, 45 (6): 1776–1786. ISSN 0300-5771. PMC 5841832 . PMID 26800751. doi:10.1093/ije/dyv341. 
  37. ^ Greenland, Sander. For and Against Methodologies: Some Perspectives on Recent Causal and Statistical Inference Debates. European Journal of Epidemiology. January 2017, 32 (1): 3–20 [2021-07-21]. ISSN 1573-7284. PMID 28220361. doi:10.1007/s10654-017-0230-6. (原始内容存档于2021-07-21). 
  38. ^ Dominus, Susan. When the Revolution Came for Amy Cuddy. The New York Times. 18 October 2017 [2019-03-02]. ISSN 0362-4331. (原始内容存档于2020-01-03) (美国英语). 
  39. ^ The Statistical Crisis in Science. American Scientist. 6 February 2017 [2019-04-18]. (原始内容存档于2021-08-13) (英语). 

参考书目

外部链接