PhD in data mining, 离Big Data大潮是更近还是更远了？

一不小心，俺就转去做data mining了。一方面自己觉得这个东西挺酷，蛮有意思。另一方面，就是想追赶一下Big Data这个被传得神乎其神的东东。

可是，PHD毕竟是为学术而铺路的。像我这种以后致力于到工业界弄潮的小DS，确实对faculty不感冒。我知道data mining和Big Data还是相当有差别的两个概念。Anyway, 我想了解一下data mining方向的PHD毕业后到工业界去搞得起Big Data么？能去弄弄潮儿么？

我写一点个人浅见吧，当作是抛砖引玉...
的确有人在批判big data，说这货很虚，这货炒作，这货不存在....
我个人的理解是，“大数据”指的不只是“大”而已。比如典型的问题有几个“V”，Volume, Velocity, Variation。其中Volume就是“大”的意思。
Volume：存储足够大量的数据，依靠开源的分布式文件系统可以存储，但是还有压缩，备份这些问题，比如如何减少备份数量...

Velocity：当数据以非常快的速度增加时，流数据/实时计算就变得很有必要了，比如监控数据，http://esper.codehaus.org/
Variation：怎么使得文件系统中的非机构化数据变得更结构化？面向列还是？我记得在一家在线网络公司实习的时候，业务人员对几百G，几十T的数据中包含着什么几乎惘然无所知，需要工具去挖掘数据中发生了变化，能找到什么价值。
我个人的观点是：这货太早的时候不存在，稍早时候出现但大家无力触及，现在需求量出现又喧嚣尘上，被淹没在了声音中。

• 很早的时候，计算能力和存储能力都很弱，那时没什么数据可挖掘。（太早的时候不存在）
• 互联网的出现，数据的爆炸，其中搜索引擎是大数据最早出现场景。（稍早时候出现）
• 越来越多的领域遇到大数据的问题，生物计算，地理科学计算...尤其是分布式计算的成本非常低廉。（需求量出现）
  

对于楼主，恭喜你，你赶上了非常好的时候！不要担心有人说big-data太俗就自己怀疑，将来说“I am a data miner on big data”，至少别人还能理解一些，总比说“I am an expert in &%$#%&...”，别人就一脸疑惑“纳尼？你是做什么的？”

反过来想，越是俗越是流行的东西才能更容易让别人接受，这个东西处在议论的中心，贴在大街小巷，总比束之高阁好。我听过一位大牛的例子，也很赞同：看看Linux吧，为什么Linux能如此流行，因为它把操作系统从高精尖的圣坛降低到了开源社区每个开发者的面前，把操作系统从“高富帅”变成了“屌丝”，尽管它不是最好的操作系统。如果这个东西束之高阁，鲜有人问津，即使它很“高富帅”，那倒不见到是什么好事了....

calconvertible 发表于 2013-4-24 11:29
求科普DATA MINING与BIG DATA的区别与联系

嗯嗯，作为入门级的小白，我也想知道。。

地里能不能AT人啊，我想邀请@rogerdai来解答。。。。

PS：如果没法AT，那W大是不是考虑加个@人的功能

big data太大了，我看搞手机ap/数据库的都说自己搞大数据...

求科普DATA MINING与BIG DATA的区别与联系

大数据目前好像炒的比较火吧

Data Mining的核心是解决问题。Big Data大潮下，DM researchers需要去解决很多因为Big Data而新产生的问题，或者利用Big Data去更好地解决以前的问题。当然，单靠我们的力量是不足以解决这些问题的，我们需要与云计算、DB等搞infrastructure的，以及ML、统计等研究工具的人一起合作。

rogerdai 发表于 2013-4-24 16:14
我写一点个人浅见吧，当作是抛砖引玉...
的确有人在批判big data，说这货很虚，这货炒作，这货不存在....
...

linux不是市场占有率很低吗?

请问你指的是专业程序员的领域么?

big data就是统计，CS的人开始搞统计了，觉得名字太土，就起了个名字叫big data

163 发表于 2013-4-24 22:11
linux不是市场占有率很低吗?

请问你指的是专业程序员的领域么?

你说的占用率低是指个人电脑吧
. Χ服务器linux的占用率还是很高的