[干货总结] Linear regression面试常见考点解析

楼主，当数据量很大的时候，是不是可以用CLT默认error terms服从正态分布？

请问楼主，还有文章里提到的exogeneity是optional的么？还是包含在哪个assumption里？谢谢！

wujiayikelly 发表于 2021-1-30 00:51
请问楼主，还有文章里提到的exogeneity是optional的么？还是包含在哪个assumption里？谢谢！

你说的很对。OLS的assumption里面包括exogeneity，它核心要求的就是independent variable与error term之间uncorrelated. 这件事情已经包括在我写的一个assumption里面了 “ epsilon represents unpredictable random noise” 因为如果noise可以被independent variables线性表示的话，就不应该算是unpredictable的。当然，统计里面对“unpredictable”并没有严格的定义，因此你说uncorrelated， exogeneity 都可以，是更加准确的。

感谢楼主，解开了我很多很困惑的问题！

谢谢楼主！请问你文章最后说的linear regression与hypothesis testing的联系是什么意思？

感谢分享干货！

albert_chen_xyz 发表于 2021-2-15 07:23
谢谢楼主！请问你文章最后说的linear regression与hypothesis testing的联系是什么意思？

这里指的是统计方法中对linear regression各个coefficient做的检验, 它是利用one group t test来检测每个coefficient是否significantly not equal to zero. 算是对模型系数的一种分析. 在做机器学习建模的时候我们一般没有这样严格的要求。

楼主总结太好了！ 我有两个疑问，这3个OLS的assumptions 似乎也包含在linear regression的assumptions里了，那是不是可以说只要符合linear regression assumptions 后OLS就是BLUE呢？如果linear regression assumptions 有一些violate了，也是可以用的, 只是不一定最优。比如 normality, homoskedasticity。 还有从推导过程看，是否只要error是normal dist， OLS就等价于maximum likelihood? 不一定是linear。

"Note 3: Assumption 3 中对 error term 的 normal distribution assumption 并不是OLS linear regression必需的。只不过 normally distributed error term会使得 OLS 成为 the most efficient linear regression estimator。"
The most efficient linear estimator 是指umvu？ 如果是的话 用的是gaussian-markov 定理， 证明的时候好像并不需要normal 的error term的assumption

piman 发表于 2021-3-5 08:35
楼主总结太好了！ 我有两个疑问，这3个OLS的assumptions 似乎也包含在linear regression的assumptions里了 ...

谢谢你的支持！关于你的问题，首先要注意，MLE和OLS可能结论一样，也可能不一样。在某些assumption成立的情况下(比如normal dist), OLS是the best (lowest MSE) linear unbiased estimator (BLUE)。如果剔除normal dist assumption, 甚至用更宽松的GM theorem, 那么也可以使得OLS成为BLUE estimator, 但是不一定保证“asymptomatic efficient”。 BLUE对具体distribution没有要求。MLE保证的是asymptomatic efficient, 与BLUE的概念不同。（PS: 这部分内容应该不会在面试中涉及到）