宾大因果推断casual effect课程笔记总结

作为数据科学家，发现面试时经常被问到Experimentation相关的问题，所以在网上找了很多相关学习资料。这个课程我个人还蛮喜欢的：A Crash Course in Causality: Inferring Causal Effects from Observational Data，帮助我打下了很多causal inference的基础。现在分享一下我做的一些笔记，希望大家一起进步都能拿到心仪的offer～
这次先分享Week 1的笔记，希望大家多多加米呀我会持续更新的！
因果效应 (Causal Effect) 的主要难点

• 很难确定究竟是 A 导致 B，还是本身更倾向 B 的人会选择 A，或者两者都有影响。示例：假设“绿地(green space)”与“人们锻炼更多”之间有相关性。究竟是绿地增加导致人们更爱运动，还是本身就爱运动的人会搬去有绿地的地方？解决思路：需要在时间顺序上仔细设计和观察变化。例如，如果可以在同一批原本就居住在某区域的人中观察到“绿地”变化之后运动习惯的变化，那么可以更好地排除“迁移选择”的干扰。这往往要求有针对性的实验或研究设计。
• 不可操控的特征(Not Manipulable)：有些变量无法直接“人为操控”，例如一个人的种族、先天特征等。但可以通过“假设性干预”来间接研究。示例：虽然无法真的改变一个人的种族，但可以在招聘时改变简历上显示的名字（带有种族暗示），以此考察简历是否会因“可感知的种族信息”而受到不同对待。（我们通常关注那些“可假设干预”的因素，因为这些因素在现实中具有可操作性。如果某个因素(如种族、社会地位、肥胖本身)虽然与结果有关系，但无法直接干预，那么即使分析得出它会“导致”某种结果，也很难进一步制定可行的干预措施。）
• 只能观察到每个人一种情形(潜在结果的单个观测问题)。因果推断的一个根本难题是：对于同一个人，我们不可能同时观察到在“采取治疗/措施A”和“不采取治疗/措施B”时的两种结果。真实世界里，每个人只能经历一种情形。示例：如果某人头痛最后消失了，但这是否因为吃了布洛芬？我们无法看到同一个人在“没吃布洛芬”时，是否也会自然好转。解决思路：对于“个体层面”的因果效应往往无法直接观察，但在“总体(或平均)层面”可以通过恰当的假设与统计方法来估计(例如平均处理效应)。“Hopeless”：我自己如果不吃布洛芬会怎样？(很难回答)； “Hopeful”：如果所有有头痛的人都吃布洛芬，和所有人都不吃布洛芬，这两种情况下头痛消失率各是多少？(可以通过人口层面的研究来估计)

总体因果效应 (Population Average Causal Effect) 与基于处理/对照条件的比较

• E[Y^1 - Y^0]：这是理想的“因果效应”，表示同一批人如果都接受处理(A=1) vs. 都不接受处理(A=0)时，他们结果的平均差异。
• E[Y|A=1] - E[Y|A=0]：往往不是真正的因果效应，因为它是在现实中直接对比选择了A=1与选择了A=0的两个不同群体(sub-populations)，这些群体本身可能存在系统性差异(例如更容易生病的人更倾向选择某种治疗)。
• 在现实世界中，A/B测试(“一部分人得到处理A, 另一部分人得到处理B，然后比较他们的平均结果”)，如果不是随机分配或没有足够的控制，往往很难保证这是真正的因果推断；因为无法确定两个组原本有没有本质差异。

常见的因果推断基本假设

• SUTVA (Stable Unit Treatment Value Assumption)：1. 无干扰 (No interference)：一个个体的处理与结果不会影响另一个个体的结果。例如，如果因为 Facebook 上有社交连接，或 Uber 司机和乘客之间存在关联，就可能出现“干扰”或“溢出效应(spillover/contagion)”。2. 单一版本的处理 (One version of treatment)：如果处理A有多个不同版本，就不容易清楚地解释到底是哪一个版本导致效果。
• 一致性 (Consistency)： the potential outcome under treatment A=a is equal to the observed outcome if the actual treatment received is A=a
• 可忽略性 (Ignorability / No unmeasured confounders)：在给定预处理协变量 X 的情况下，处理 A 的分配与潜在结果独立。可以理解为：在同样的 X 条件下，A 像是随机分配一样。示例：比如说在我们得知只有三本书有ai study tools之后这三本书就是X 但是我们randomly assign这三本书的用户 所以我们的abtesting还是成立的。
• 正值性 (Positivity)：对于每一个可能的 X，都有一定概率分配到 A=0 或 A=1。也就是说没有某个组必然只会接受 A=1 或必然只会接受 A=0，否则无法比较和估计因果效应。for every set of values for X (every level of X), treatment assignment was not deterministic。

常见分析方法与设计思路

• 标准化 (Standardization)：通过对协变量 X 进行分层(stratification)，再用各层在总体中的权重加权平均，得到总体平均处理效应。在实际问题中，如果X维度很多，就可能难以直接分层计算，因此需要更高级的方法，如配对(Matching)、倾向评分加权(IPTW, Inverse Probability of Treatment Weighting) 等等。
• Incident user design（New user design）：也叫“新使用者设计”，即只关注那些“刚开始使用某个干预”的人，方便找一个明确的研究起点，从而减少历史数据带来的混淆。难点：如何定义“刚开始”？以及若要对照没用的人，就需要确保他们的观察起点在可比的时间点。Active comparator：有时会用“积极比较组”，而不是“不做任何事情”的对照组，以减少由于人群选择不同行为而产生的混淆。示例：如果想研究“做瑜伽是否能降低血压”，可能需要与“做另外一种运动(如Zumba)”的人做比较，而不是与“不运动”做比较，因为完全不运动的人在各方面可能与运动人群本质不同。

总结

• 因果推断核心在于：如何在无法同时观察同一个人在两种处理下的结果的情况下，尽可能逼近“如果同一批人接受/不接受某处理会怎样”的假设性世界。
• 研究设计上需要特别关注干预的时机、可能的混淆因素、是否存在干扰效应等。
• 真正的因果效应往往要在统计建模和合理假设前提下，通过对“处理组”和“对照组”进行比较或模拟(例如随机实验、倾向评分加权、合适的试验设计等)才能可靠地估计。

推荐一本书 causal inference in python

范大将军 发表于 2025-3-15 23:43
推荐一本书 causal inference in python

嗷嗷嗷好的谢谢推荐！