「辛普森悖论」是什么，常发生在什么样的统计场景中？

「辛普森悖论」是什么，常发生在什么样的统计场景中？

辛普森悖论（Simpson's Paradox）是一个在统计学中非常知名的悖论，几乎所有学过统计学的人都接触过它：在分组数据中得到的结论，以总体数据来计算却会得到相反的结论。

让我们讨论下面这个例子，考虑某种药物对某种疾病的治疗效果，以性别作为分组依据。

服用药物设为C，不服用药物设为-C。疾病痊愈设为E，疾病没有痊愈设为-E。女性设为F，男性设为-F。

根据实验结果，我们获得了以下数据：

令人意外地是，服用药物在男性分组和女性分组上分别呈现使痊愈率下降的效果，但在总体上却使痊愈率从40%上升到50%。这种在分组中获得的结论和总体中相反的现象，就被称为辛普森悖论。

用不等式来解释，就是

所以应该有 ，即

然而，从数据中却得到了结论 .

如果你已经在课堂上已经学习过辛普森悖论，那么上述现象对于你而言是毫不奇怪的。这里面其实并没有什么悖论，而只是一种数据推断上的误解。

一种标准的解答是：由于男性服用药物更多、女性服用药物更少，所以导致总体中，服用药物的组里男性更多、女性更少，不服用药物的组里男性更少、女性更多，而带来了数据权重的扭曲。性别因素是服用行为和疾病痊愈间的混杂因子。合格的实验数据应该确保性别因素和服用行为无关，但在这个例子，性别却和服用行为相关，由此导致了痊愈率的反转。

也就是说，由于 ，因此 ，上一章的推理不正确。

然而，这种解释尽管符合统计学，却不能让我们心安理得。如果药物厂家只提供总体数据，那么且不是所有人都会误以为药物会提高痊愈率？我们总不可能对所有的数据都了解仔细？

归根到底，我们心里都有一个推理规则：如果C在所有分组中会降低E的概率，那么C就应该在总体中也会降低E的概率。

这一推理规则是如此地合乎情理，以至于我们很难接受它是错的。但如果它不是错误的，那就是统计学是错误的？这一困惑的二选一，正是我们感到辛普森悖论是一个“悖论”的原因。

下面我将给出一种因果推断下的解答，并不是这一推理规则或统计学是错的，而是这一案例中应该使用因果推断，因果推断更能符合我们的心理认识。

首先，我们需要了解在因果推断领域，“干预”和“观察”是不一样的。干预是对实验进行强制性的改变，而观察是对实验的旁观。在以上案例中，由于服用药物是一种强制行为，它不能写为C，而应该写为do(C)，意为进行服用药物的干预。

写不写为“干预”又有什么区别呢？区别在于，仅仅依据统计数据，我们无法判断变量间的因果关系到底是怎样的。下面的三个因果图都可以得到和案例一致的数据。实际上，只有图a才可能是正确的，因为服用药物不可能改变性别。通过因果图a，我们可以直截了当地意识到案例中总体的结论是错误的，因为性别也是痊愈的一个原因，不能忽视性别的影响。

用不等式来解释，从分组结论已知

由于服用行为不影响性别因素，因此有

所以 ，即 ，意为服用药物的干预会带来痊愈率的下降，案例的总体结论不正确。

这一推理是符合我们通常认识的，同时引入因果图也成功避免了对混杂因子的缺漏。

本文的内容主要摘于Judea Pearl《因果论：模型、推理和推断》。 @知乎话题

[1]Pearl J. 因果论[M]. 机械工业出版社, 2022.

SEM结构方程模型

IC算法

反事实理论