是不是数据科学领域统计stat与计算机CS越来越对立？

luhanqiao 发表于 2014-11-9 13:25
看来我就是属于计算机的那群人
数学那些推公式证明本来就没啥用嘛，最后还不是要算法实现，总 ...

这个也不对..
不知道为什么你就不知道哪些可以实现哪些不能实现
如果model inference报错你也不会知道为什么出错

推公式跟证定理完全是两码事

另外.. 谁说CS people不搞证明不推公式.. 虽然他们不一定真的很懂统计，但是他们也绝不敢说inference的步骤没什么用...

btw.. 作为cs master完全不用理这些无谓的论战，踏踏实实赚自己的钱就好。。

wwtpcsuper 发表于 2014-11-11 01:41
理论真的没有那么重要。。而且搞统计理论真的就是大家都在cheating..
1. 大家在证之前都assume原来的mod ...

感谢熊哥刷新三观！！

wwtpcsuper 发表于 2014-11-11 01:37
ML model和stat model的思维是完全不一样的..

applied stat跟数学关系没有那么紧密，如果一个applied  ...

不知道熊兄弟上过类似statistical machine learning 之类的课程没有，如果你上过的话你会发现cs里面的ml方法都会有翔实的stat的理论基础，而我学了一点统计之后我再去看cs data mining的一些文章我发现，有的方法有很明显的统计理论瑕疵，如果改进明显会改善模型的预测精度。统计系的人认为cs的在一定程度上瞎用ml，虽然不敢苟同，但一定程度上有这种感觉。当然，我本科也不是数统专业出身，纯属个人体会。

xiatian122 发表于 2014-11-10 14:21
不知道熊兄弟上过类似statistical machine learning 之类的课程没有，如果你上过的话你会发现cs里面的ml ...

我指的不同不是没有使用统计，而是idea完全不同。

ML是想通过一套算法解决一类甚至全部问题，需要model setting很loose. 而统计是用一套模型解决一个问题，什么知道什么不知道是很明确的。

关于精度: 精度是要时间来做trade-off的

cs scientists更关注performance, 精度的提高要损失多少时间作为代价
在实际应用中，很多时候不需要那么高的精度而对速度要求很高

statisticians不太关注速度..

咱们系教授是这么评价搞CS的人弄的model的：

Their model is too aggressive.

小K 发表于 2014-11-9 13:31
但是，一个统计师做的模型，变成数据产品的过程中从头到尾可能会匹配10个软工
我也觉得统计还是有用处， ...

普通软工做数据产品开发也很坑爹。统计结果的一个性质是stochastic, 你一个test case能工作不代表下次仍然工作，也不代表结果就是对的。即使data engineer经常也会瞎fit东西，最常见就拿不独立的数据跑ttest。不区分ordinal variable and nominal variable, 不看multiple testing,fit出来不看precision recall也不看CONFIDENCE INTERVAL!! time trend不看独立的天，而要看cumulative etc.
罄竹难书。

让纯统计师做开发，和让纯软工开发数据产品，都是巨坑
觉得还是必须有统计出身的数据科学家和软工出身的数据科学家合作才好做事。
那个统计人，一般会是“质量保证”和prototype性质的。

目前我这里仍然有大量的legacy东西是只有point estimate没有confidence interval的，大家不知道追逐了多少noise. When you plot the CI, there's nothing interesting at all.

至今仍然有人非要demand explanation for certain downward trend, when there's simply no trend at all - all you got is a "choppy first day"

lots of people know to read pvalue < 0.05, even when they are staring at 10k comparisons, they still demand explanation for hundreds of stuff popping up as "stat sig".

So many people are so so so in love with whatever tests they are familiar with, like  ttest and chisq test. And use them in whatever possible occasion, even if they egregiously violate the assumptions, they think it is ok if the "pvalue output" fits their case in hand.

oh and the cursed scale of y axis!!
you see so many terrible trends!!!
and then you realize the yaxis does not start from 0!!!!

hey that's the charm of SDEs building data products....the team has had statistician for about 4-5 years, and have corrected many of the worse mistakes but a lot of the legacy stuff just give people the wrong education about using data to make decisions. I think the "wrong corporate knowledge" carries a very significant cost that's not easily measured.

Of course, being a data driven organization, if things can't be measured, they don't exist...haha

小K 发表于 2014-11-11 10:25
目前我这里仍然有大量的legacy东西是只有point estimate没有confidence interval的，大家不知道追逐了多少n ...

还能赞同更多吗？我甚至觉得以后statistical diagnosis都能成为一个工作了 = =