Data Science面试中最常见的5个统计概念

DS面试中一定会被问到的统计概念有哪些？Power， Type I error， Type II error，Confidence interval，P value多多少少会涉及到。这里跟大家分享一下，如何更好地跟technical audience，特别是non-technical audidence解释这些概念。

针对technical audience的回答一般包括：什么时候会用到这个概念、给出明确定义、数值变化意味着什么以及一些应用（optional)。针对non-technical audience的回答最好使用例子说明（可以提前准备好），不要引入更多的technical terms。

Power (for technical):

• 在binary hypothesis test中使用
• alternative hypothesis为真时，拒绝null hypothesis的概率（likelihood that a test will detect an effect when the effect is present）
• statistical power越高越好
• experiment design中用来计算能够detect an effect的最小sample size
  

Type I error (for technical):

• 也指false positive, binary hypothesis test中的一种错误
• 错误拒绝null hypothesis，也就是说得出significant的结论，但实际上只是occur by chance
• 值越小越好（越大说明test越不可靠）
• A/B testing中经常使用
  

Type II error (for technical)：

• 也指false negative, binary hypothesis test中的一种错误
• 没有拒绝实际为假的null hypothesis，也就是说得出not significant的结论，但实际是significant
• 值越小越好（越大说明test越不可靠）
• A/B testing中经常使用
  

Power, Type I error, Type II error (for non-technical，例子说明)：

• 有人想测试一下自己有没有被coronavirus感染。
• 一种情况是，他被感染了，并且测试也测出来了。Power指的就是the chance that the test tells us a person is infected if he truly is.
• 第二种情况是，他没被感染，但测试却显示阳性。这就是type I error，这种错误可能很严重，因为他可能接受一些不必要的治疗。
• 第三种情况是，他被感染了，但测试却显示阴性。这就是type II error，这种错误的后果是他会错过治疗的最佳时机。
• 所以我们能看到，power越高，test越有效。type I error and type II error越小，test越好。
  

Confidence Interval：
For technical

• CI是通过samples来估计true value的，但true value我们永远不会知道。CI是一个范围，我们可以知道how variable a sample result might be。
• Confidence level（通常为95%）是CI包含true value的概率（通过多次抽样计算）。
• Confidence level越高，CI越宽。样本量越少，CI越宽。
• 一定不能把CI解释为the probability that the true value lies within a certain threshold，因为true value不是variable，CI才是。
  

For non-technical

• 假如我们想知道美国男性的平均身高，可以随机选出30个男性并测量他们的平均身高。然后我们可以得到一个95%的CI，比如168 to 185 cm.
• 这个interval很大可能会涵盖美国男性平均身高的真实值。多大可能呢？如果我们把sample的过程不断重复，计算得出的CI有95%的时间会包含这个真实值。
  

P value:
For technical

• 假设检验中使用
• 是一个条件概率，measures the probability of getting testing results at least as extreme as observed results, given that the null hypothesis is true.
• P-value <=0.05，拒绝null hypothesis；p-value > 0.05，不拒绝null hypothesis.
• A/B testing中常见，通常测试一个metric在treatment group和control group之间是否不同。测试结果中p-value越小，我们越能确定两个group不同。
• 一定不能把p-value解释为，given the observation, the probability of there is at least such a difference between the two groups.
  

For non-technical
. 1point3acres.com

• 同样使用平均身高的例子，随机选出30个男性并测量他们的平均身高，这时我们想知道true value是不是等于一个固定值，比如说175cm。
• P-value指的是，假如true value是175cm，我们观测到这个样本的可能性。p-value特别小，说明可能性越小，即true value不太可能是175cm。
  

以上内容大部分搬运自https://www.youtube.com/watch?v=Allap_hrjyo&t=2s，最近很喜欢没事看看这个频道，有些东西总结得还可以，我自己也会做一些笔记。

An obvious but easy-to-ignore observation: Type II error + Power = 1.

我是Econ硕士(也算社科),我怎么感觉这几个概念我还算熟啊...去业界还是有些人转DS的

这些是最基本最重要的概念了。我做了TA一年的经验是：很多社科类博士生真的不太懂这些概念，即便他们上了一年统计基础课。。。

赞。
pvalue 经常被问到

插个眼
不过不可能只问这些吧，太基础了

额，现在面试没这么简单吧

哈哈，居然还有人总结了这个，虽然比较基础，但是面试中确实有可能被问到，顶一个！

感谢分享总结！

谢谢楼主 zszszs