跟系里做big data的老师聊big data

其实我真是主张好好分离数据预处理和建模
虽然说从提高自身角度来说，预处理数据的能力要有，就好像说实现建模(e.g. do a PROC bla properly in SAS)能力要有，但是人精力是有限的，如果公司组织上让不同人专注不同的部分，更多分工，其实总体效率会提高。当然这点跟个人发展又有点违反，搞的太精尖太单一又不容易跳槽了。
药厂的stat很快就不再需要亲自写PROC什么什么了，是sas programmer写好了，他们只看的，前期ETL data 更是绝对不做的，因此可以专注模型，design，regulation之类
amazon有的地方要的data scientist需要编程能力，有的则不太需要，只做统计，数据是别人整理成长方形拱手送上的。
如果有明确分工，有的人，只要数据整好了，可以建立和evaluate各种模型，有的人是各种乱七八糟的数据都能整，也挺好的。。。两者都精通的人可以走的更高更远，但是这种人有限啊，如果有精准分工，则可以用两个稍微逊的人合起来，也能做出质量差不多的工作。

现在领域较新，很多地方仍然模糊，看看下面几年会不会更明确一点

不知道这次会不会又是火了几年再被打入冷宫

睿智的草 发表于 2013-10-3 10:21
不知道这次会不会又是火了几年再被打入冷宫

感觉不会，各种数据收集和存储能力只会越来越强
而且各大tech公司都有这类的职位
别的行业应该也会慢慢跟上

duanmupeiyi 发表于 2013-10-3 15:34
感觉不会，各种数据收集和存储能力只会越来越强
而且各大tech公司都有这类的职位
别的行业应该也会慢慢 ...

也说不好。。万一被发现大家都是瞎做不make sense就又被搁置了

duanmupeiyi 发表于 2013-10-3 10:57
一些职位要求MS就够了，有的甚至写的是BS
不过一般这类的职位都会有各种编程的要求，感觉至少也应该是熟 ...

感觉硕士还是没有什么特别高深的东西啊。。。是以后工作中才继续锻炼学习的么？

OviedoPrince 发表于 2013-10-5 07:36
感觉硕士还是没有什么特别高深的东西啊。。。是以后工作中才继续锻炼学习的么？

干什么工作都要一直学习吧 :P
我是觉得在学校打好基础，工作中需要什么再看起来也快
anyway，从有限的实习经验中想到的，我也没有全职工作

wwtpcsuper 发表于 2013-10-3 15:27
看你具体做什么层面的工作了，develop model一般是不可能的

但是很多data processing, parse data的工 ...

这样和programmer又差不多了。。

gorush 发表于 2013-10-12 08:55
这样和programmer又差不多了。。

本来就是呀。。

big data有金融就业方向的吗