现在有什么工作是用传统统计而不是 ML 的吗？

面了一些公司，感觉大家还是喜欢问各种算法（SVM, random forest, neural network）和各种提高预测准确率的技巧。很好奇有什么工作是用到传统统计方法的吗，比如 GLM, GLMM, Design of Experiment, Survey Sampling 之类的？还有就是有没有公司/行业比较注意 inference 的，会用到 FDR, multiple testing 之类的呢？希望大家帮我开拓思路～

屹立不倒的就是生物、制药、医疗的小样本统计对照实验上了，因为机器学习基本无法处理小样本，传统统计里的non-parametric和Bayesian这些东西就能施展得开，但是这个口真的是一个萝卜一个坑，有些公司还故意把门槛设特别高只收phd，而且未来发展空间比较窄。

如果你喜欢GLM，FDR这些，更注重传统statistical inference的地方就是银行的credit和risk组，这个相对无聊一点，但是坑多，工资高，工作强度也不大，工具基本也是SAS+SQL，而且用的就是GLM + 历久弥香的独立变量做预测，听说近几年也在尝试新的概率模型并且尝试拜托SAS了。

还有就是传统实业，例如retail这种，这种公司基本就是sales和pricing会用不少统计背景的人，项目集中在price optimization的GLM/Time Series建模 + pricing strategy的花式AB test + customer clustering，我前后几个公司全是这方面的，所以就相对了解多一点，整体坑相对多，和互联网等热门行业不脱轨，唯一可能不合你心意的就是近年来实业公司的管理层也开始被大量忽悠开始搞大数据和机器学习了（人家数据确实多也是优势），招的数学统计方面的人也是偏ML模型的倾向性强一点。

补充内容 (2019-2-5 06:00):
还有就是传统实业现在用的工具相对新一点，python & Java主流，R作为辅助，数据库一般用Cloud的多一点。

w3e4NB 发表于 2019-1-17 21:25
可以考虑。我猜想药厂的统计学家做的东西应该比部分“数据科学家”做得科学多了…

不能这么看问题，药厂的test很严谨是必须的，但是公司的DS做的东西有很多限制因素，提高盈利是最主要的问题，所以即使模型不严谨或者根本无法解释，但是只要能赚钱，估计就会deploy。

回到原来的问题是，感觉做时间序列预测的传统模型用的很多，RNN那些并没有想象中那么广泛应用

听说药厂统计一直做的挺严格的，一方面药必须得让人吃的放心，另一方面clinical trial的样本注定不会太大吧，小样本的情况下传统统计理论还是重要的。。。以上是知乎和一亩三分地多年浏览总结。。。

AB test不是广泛使用吗？

jzhao59 发表于 2019/01/17 12:00:42
AB test不是广泛使用吗？

不知道互联网公司做 A/B test 是用传统的 RCD 设计加上 ANOVA 类的模型吗？会不会用到诸如 sequential testing 之类的呢？

药厂统计师?

mabus 发表于 2019/01/18 02:00:39
药厂统计师?

可以考虑。我猜想药厂的统计学家做的东西应该比部分“数据科学家”做得科学多了…

非死不可的DS不问ML啊，都是以实验为主的

jzhao59 发表于 2019/01/27 11:25:56


不能这么看问题，药厂的test很严谨是必须的，但是公司的DS做的东西有很多限制因素，提高盈利是最主要的问题，所以即使模型不严谨或者根本无法解释，但是只要能赚钱，估计就会deploy。

回到原...

对，这个我理解。只是我自己学传统的 stats 比较多一些，也希望工作当中可以用到。地里关于 IT 公司的 DS 的帖子我也看了一些，给我的感觉是，与其叫做 DS 不如叫做 data drive product manager. 我自己也在摸索以后做什么工作好 (??｀*)

wz2164 发表于 2019/01/27 13:18:07
非死不可的DS不问ML啊，都是以实验为主的

你指的是所谓的 core data science 吗？我以为他们只要博士，而且注重算法的实现…