问个data mining和big data的问题

今天跟一教授聊天，聊到统计现在很热的问题：big data。教授说，由于big data实在是太大了，而且data增长速度很快，data mining的方法对于这么大的data有点跟不上了。

地里有了解这个的吗？

285845348 发表于 2012-10-12 05:58
意思大概是数据多了什么模型不模型的就次要了，不过也不是所有情况都有足够的training examples

意思就是
“由于big data实在是太大了，而且data增长速度很快，data mining的方法对于这么大的data有点跟不上了。”
数据足够多的时候，用data mining的模型/规则进行训练/学习 就会显得没有必要，要做的事情就只是需要简单的检索比对就行了，立足点在data 而不是 pattern

afaris 发表于 2012-10-12 22:31
意思就是
“由于big data实在是太大了，而且data增长速度很快，data mining的方法对于这么大的data有点跟 ...

简单检索是简单模型的意思吗？
我觉得是数据量很大又质量比较的时候，简单的模型也能做出很好的效果

iamhc 发表于 2012-10-11 14:40
没看出来这句话和我的问题有啥联系...

意思大概是数据多了什么模型不模型的就次要了，不过也不是所有情况都有足够的training examples

Peter Norvig said that “All models are wrong, and increasingly you can succeed without them.”

afaris 发表于 2012-10-11 15:37
Peter Norvig said that “All models are wrong, and increasingly you can succeed without them.”

没看出来这句话和我的问题有啥联系...

285845348 发表于 2012-10-13 13:37
简单检索是简单模型的意思吗？
我觉得是数据量很大又质量比较的时候，简单的模型也能做出很好的效果

yep! 一个ICDM的PC预言，未来将有可能形成一个新的学科：数据学

To my understanding, all data analyses are based on the application of so-called parametric statistical models that assume the data-generating distributions have specific forms. These models are so wrong! So different people may interperate the same data set by different distributions, draw conclusions and then hope these conclusions are not too wrong.  As the dimention of the data increase, the current parametric models are even challenged because the true functions may have  more unkown parameters than previous observation.

lkboy2008 发表于 2012-10-19 00:12
To my understanding, all data analyses are based on the application of so-called parametric statisti ...

呵呵....

不能回答楼主的问题，但是同对这个主题感兴趣