跟系里做big data的老师聊big data

上周跟系里的一个做big data的老师一起出去吃饭，路上问了很多她做的方向的问题，解决了我原来很多的疑惑，分享给大家

问: 感觉大家都在炒概念。。在您看来多大的data才能算是big data?
答: 现在来看至少应该是几百几千TB的data才可以算是big data, 至少要大于内存1000倍以上

问: 现在好像big data都被cs的人搞了，统计能不能做big data?
答: big data的未来还是在统计方面，虽然cs在数据存储，处理以及遍历上需要做出很多工作，但是真正到了modelling的部分还是靠统计来搞。而且现在来看，很多传统的model可能都不太适用了，我们需要develop一些新的model。

问: 现在公司里面的big data都在做什么?
答: 不同公司有不同架构，但是最关键的还是data本身究竟是什么。google/facebook/amazon/dropbox这些公司的data都是不一样的，他们的数据库的架构也都不一样。面对不一样的data究竟要怎么model，不同公司有不同的办法，但是现在还都是起步阶段。因为统计的介入还是不够，但是各个公司都开始招很多统计专业的来做data scientists了。而且现在的modelling都非常的简单，还是老一套的办法

问: 这些big data是不是都是非常sparse的？
答: 不是，恰恰相反，很多data的information是非常dense的，比如ebay的transaction data，每一个信息都是有用的，放在一起还是非常的大，怎么分析是一个问题。

问: 感觉big data一下就火了，之前究竟是个什么情况
答: 在2011年之前，我们处于几乎活不下去的情况，全靠Obama在2011年发表的讲话，把big data作为national priority。big data的研究从1999年就开始有人提出这个概念，到了2003-2004期间火了一阵，然后从2004年9月就开始一步一步的cut funding。最后除了马上需要用big data tool的一些大公司，Independent researcher们基本都变了方向，坚持下来的非常的少。因为big data需要投入的成本很高，而research cycle非常长，很难很快得到回报，所以funding cut非常厉害。自从2011年之后情况就好非常多了，所以我当时一开心就去sabbatical了

问: 您原来怎么不带学生?
答: 自己都活不下去了不敢害人了，而且我自己coding/modelling/写paper都很快，也不用别人帮忙...

问: 现在big data都火了，您招点学生好歹可以多做点方向是吧?
答: 好像的确是。。嗯，可以考虑招点学生了

问: 如果让您招学生您会倾向于学生有哪些素质?
答: 反正都是要补背景。big data因为research cycle长，所以需要学生有耐心就可以了，不怕慢，就怕坚持不下去。

小K 发表于 2013-10-3 09:10
其实我真是主张好好分离数据预处理和建模
虽然说从提高自身角度来说，预处理数据的能力要有，就好像说实现 ...

时隔一年我已经改变看法了
取数据洗数据需要domain knowledge，改善这一步需要infrastructure support，我也不懂，只是看起来很多地方短期（5年）都未必能做到。这种constraint下面要在段时间（比如a couple of days）快速尝试多种方法拿出可用的大学，就需要分析人自己不停去改。
目前这种设置下，不会快速取数据的，根本没法快速做分析。
做完分析再推给下一个环节，prototype之类，自己会比讲给别人听要容易多了。
这一步可通过好的团队来解决。DEV要能深刻理解数据，可用gloss over stats details但是要know enough to know what's what，否则合作起来暴浪费时间。

小K 发表于 2013-10-3 01:37
感觉学分析big data的三个V特征，我现在最困扰的还是variety
速度和容量基本还是cs方向去解决
variety/co ...

  我们公司 有海量的工业设计数据  主要是CAD图纸文件  还有存储在 WindChill里面的一些 跟3D模型相关的物料信息数据  这种3D模型和普通的数据信息之间如何挖掘之间的联系  以及如何发现其中的价值  该怎么处理？？
. From 1point 3acres bbs
异构数据该怎么处理？？

sparse的data主要存在于业务全面的公司，像腾讯这种，啥都做的，弄推荐系统和广告系统时就总会碰见稀疏矩阵
听过几次讲座，演讲人都提到对稀疏矩阵的处理

dennis_szsy 发表于 2013-10-1 05:10
sparse的data主要存在于业务全面的公司，像腾讯这种，啥都做的，弄推荐系统和广告系统时就总会碰见稀疏矩阵 ...

sparse matrix比dense matrix好做多了。。

google/facebook/amazon/dropbox这些公司的data都是不一样的

能不能大概讲讲，GOOGLE和FACEBOOK的DATA?

肥霸 发表于 2013-10-2 01:47
google/facebook/amazon/dropbox这些公司的data都是不一样的

能不能大概讲讲，GOOGLE和FACEBOOK的DATA?

Search Data和Network data

统计那边做的big data和cs那边做的big data有啥区别啊？感觉是不是统计那边更偏向建模，cs这边更偏向开发big data的算法和工具？

zhujl1991 发表于 2013-10-2 02:31
统计那边做的big data和cs那边做的big data有啥区别啊？感觉是不是统计那边更偏向建模，cs这边更偏向开发bi ...

是的。。

CS 做 Big Data 还有一块在 Datacenter architecture 上, 比如Google那本很有名的“magazine paper”: The Datacenter as a computer

感觉学分析big data的三个V特征，我现在最困扰的还是variety
速度和容量基本还是cs方向去解决
variety/complexity倒的的确确需要分析数据的人自己能解决 - so far i am quite unable to do this....
平常上公开课什么的遇到的问题也没有什么variety，记得UW data science分析的twitter data都是简化的不能再简化，而且一条tweat也没有多少个信息field，notepad打开看一眼就看清楚了。再parse出来就很容易了。当然作为简单的课堂作业也只能这样了。

除了去几大公司实习之外，还有什么接触复杂数据的机会么？
有在学校里面分析复杂数据的同学么？一般会遇到多么复杂的数据呢？

search data 比较偏UNSTRUCTURE DATA,QUERY DATA, CLICK DATA....是不是比较难分析，因为本身DATA 比较NOISY,没有啥模型