跟系里做big data的老师聊big data

小K 发表于 2013-10-3 09:10
其实我真是主张好好分离数据预处理和建模
虽然说从提高自身角度来说，预处理数据的能力要有，就好像说实现 ...

时隔一年我已经改变看法了
取数据洗数据需要domain knowledge，改善这一步需要infrastructure support，我也不懂，只是看起来很多地方短期（5年）都未必能做到。这种constraint下面要在段时间（比如a couple of days）快速尝试多种方法拿出可用的大学，就需要分析人自己不停去改。
目前这种设置下，不会快速取数据的，根本没法快速做分析。
做完分析再推给下一个环节，prototype之类，自己会比讲给别人听要容易多了。
这一步可通过好的团队来解决。DEV要能深刻理解数据，可用gloss over stats details但是要know enough to know what's what，否则合作起来暴浪费时间。

小K 发表于 2013-10-3 01:37
感觉学分析big data的三个V特征，我现在最困扰的还是variety
速度和容量基本还是cs方向去解决
variety/co ...

  我们公司 有海量的工业设计数据  主要是CAD图纸文件  还有存储在 WindChill里面的一些 跟3D模型相关的物料信息数据  这种3D模型和普通的数据信息之间如何挖掘之间的联系  以及如何发现其中的价值  该怎么处理？？

异构数据该怎么处理？？

zst159357 发表于 2014-10-29 19:42
我们公司 有海量的工业设计数据  主要是CAD图纸文件  还有存储在 WindChill里面的一些 跟3D模型相关的 ...

信息太少没法回答啊

zst159357 发表于 2014-10-30 11:42
我们公司 有海量的工业设计数据  主要是CAD图纸文件  还有存储在 WindChill里面的一些 跟3D模型相关的 ...

就差一个程序员了。。。

可以讲讲最近热门的data science这个专业和统计专业的不同吗？

bottletreeusa 发表于 2014-11-9 20:05
可以讲讲最近热门的data science这个专业和统计专业的不同吗？

skill set不一样，去data science版看看就知道了

这给我想学统计的不少信心。

大数据就业机会是IT业多还是金融多呢？

小K 发表于 2014-10-20 04:46
时隔一年我已经改变看法了
取数据洗数据需要domain knowledge，改善这一步需要infrastructure support， ...

特别赞同

请问lz，大部分从事数据相关的是不是还在处理数据，清洗和收集，没轮到建模阶段么