[干货总结] Linear regression面试常见考点解析

interviewML20 发表于 2021-03-17 14:54:05
谢谢你的支持！关于你的问题，首先要注意，MLE和OLS可能结论一样，也可能不一样。在某些assumption成立的情况下(比如normal dist), OLS是the best (lowest MS

谢谢楼主解惑!

感谢lz分享！

感谢分享！

songweaver 发表于 2021-3-9 08:54
"Note 3: Assumption 3 中对 error term 的 normal distribution assumption 并不是OLS linear regression ...

嗯你说的对. GM theorem是保证OLS是BLUE的最relaxed的assumption, 但它不能保证asymptomatic efficient. 这里提的best是lowest MSE.

wujiayikelly 发表于 2021-1-29 23:59
楼主，当数据量很大的时候，是不是可以用CLT默认error terms服从正态分布？

是的没错. 可以把噪声看作是一组独立同分布的随机变量的mean, 它的极限分布就是normal distribution. 这种情况最为常见，这也就是为什么我们一般都假设noise服从normal distribution, 理论依据就是CLT.

谢谢楼主！太棒了

Jharden13cyz 发表于 2021-1-8 15:03
楼主太棒了，两篇文章都含金量十足

谢谢支持！刚写了新的一篇logistic regression的文章，期待和大家一起讨论进步! 这是地里的帖子：https://www.1point3acres.com/bbs/thread-750060-1-1.html，也可以看这里的网页版：https://www.acecodeinterview.com/logistic-regression/

为什么我的用户组无法查看附件啊，得多少大米啊

Follow up 一下原贴的问题：Question: 基于本文中提到的 OLS linear regression 的3个基本假设（包含第三个assumption: the error term follows normal distribution), 我们是否可以认为：linear regression assumes the dependent variable  itself follows normal distribution?
这个“linear regression assumes the dependent variable  itself follows normal distribution”是 ordinary linear regression的前提吧，不然MLE 怎么计算呢？？有点迷。。。。