大家觉得大数据值得学吗?

本人CS背景, 今年fall就要去读CS master了。介于自己不是属于CS牛人那一块的, 所以还是想再学点什么增加一下实力。。。

我看见我的学校有一个business analytics的program, part time的, 就5门课, 讲一些大数据和businesses的基本知识。。正好CS和big data也沾点边, 大家觉得这个program值得去吗? 可以为找工作加分吗?

课程有business analytics, advanced analytics, programming in R, data science, database systems.

我觉得大数据过热了。

---------------------------------------------------------------------------

发信人: hci (海螺子), 信区: Programming
标  题: 关于搞ML刷数据的职业前途
发信站: BBS 未名空间站 (Thu Mar 17 17:28:01 2016, 美东)


很多人看见别人用python搞ML， 参加比赛拿奖，搞得热火朝天，很羡慕。我来泼点冷
水。

用python搞ML刷数据，只是线下的ML训练阶段。这个阶段目前看用python有一定的优势
。但这个阶段在整个产品生产环境中，无论从哪个方面看都是很小的一部分，也就是所谓
的data scientist的工作。老实说，在大部分公司，这一行都是不太受待见的。你自己
觉得核心，别的人都不这么看。说来说去还是"nice to have",不是什么离了你公司就
不能运转的行当。

就举一个专门搞ML为业的一个初创公司为例吧，这样一个公司，最先要找的，必然是几
个full stack工程师，把前前后后的架子搭起来，随便搞点ML算法，弄个prototype
，好去忽悠钱，这些都没什么data scientist的事；

然后忽悠到钱了，要grow了，必然要招更多的full stack, 还要找些backend工程师，
把后台搞得solid点，前台也要搞得漂亮点，是不是？当然还要有business
development的人，这些都没什么data scientist的事；

好了，公司发展不错，A，B轮拿了，老板想想，我们不是一个ML公司么，得搞点ML才像
样啊
，这才开始想，是不是搞个有点名气的ML人来好看点？ 这才开始去挖个把ML人来，给
个VP， Chief Scientist等等空衔。然后这个人就雄心勃勃来了，然后，然后就悲剧了
，一两年就走人了， “与公司文化不和拍”，“我个人需要休息一下”，诸如此类，
我见得不少。

这还是ML大牛，小喽啰就不提了。

-----------------------------------------------------------------------------------

发信人: wdong (cybra), 信区: Programming
标  题: Re: 关于搞ML刷数据的职业前途
发信站: BBS 未名空间站 (Thu Mar 17 19:56:50 2016, 美东)

完全同意。真正需要data scientist的职位并没有那么多，对于一个公司来说，
即使有一个问题要分析，完了以后可能也就没有下一个了。人家出十万块钱，
放在kaggle上就是大比赛了，全世界的人得给你来想算法。如果拿十万块钱
钱去顾人，按现在的市价能雇到的人，给的方案还真未必可靠。专业搞ML我觉得
job security不是特别好。而且现在搞ML都是套轮子，偶尔有几个问题，
full stack工程师随便google一下也就顺手解决了。如果非要在ML和写
javascript之间选一个，为了活命肯定是选javascript。如果写网站功底
扎实，或者有别的一技之长保底的，然后再学点ML锦上添花，这样我觉得
比较不错。

如果随便能在kaggle上拿第一的自然另说。如果只是前十，根本没人理。

-----------------------------------------------------------------------------------
发信人: zhaoce073 (迟到早退不思上进的蜥蜴), 信区: DataSciences
标  题: Re: data science Master, 美国哪个大学好？
发信站: BBS 未名空间站 (Sat Jul 26 01:53:46 2014, 美东)

那我建议楼主学分布式计算这个方向
这几门课非常有用

adv db，不是教sql那些，而是教怎么实现transaction这些原理
还有write ahead log，如何编程实现原子操作，老师如果能讲nosql就perfect

distributed algorithm，不是教简单的复杂度，单机算法，而是教paxos这些
教分布式transaction这些，如果能说p2p还有consistent hashing这些就perfect

web search & text analysis，真正的cs应用统计学
教怎么从unstructured data中分析出需要的结论，从bag of words开始说

前提是你必需有cs基础
因为这个时候不会再教算法和数据结构，java，sql和db这种本科生学的东西
【 在 wdong (cybra) 的大作中提到: 】
: 现在这种master program简直就是雨后春笋。基本上就是从统计系和计算机系找几个教
: 授兼职讲讲课。教授其实自己也是啥都不懂，只好按着统计和database那一路教。

窃以为DS也是需要解决问题，用ML或者stat的手段来从数据里面获得一些想要的

所以我觉得做ML的同学会偏科研，而DM就是类似工程师来套轮子解决问题。

其实前后端也是套轮子不是么？

好好学习代码+刷题才是找工作王道

学感兴趣的 做感兴趣的

不需要，完全overated

tingting24 发表于 2016-4-22 03:17
不需要，完全overated

well, for me, it's good. Big data helped me find a job.

houpy 发表于 2016-4-22 05:52
well, for me, it's good. Big data helped me find a job.

可以问问big data怎么帮到你的吗？ 你的背景也是cs吗？十分感谢！

其实我觉得学学无妨。

纯写代码的话，现在人越来越多，会不会饱和不好说。DS相关的理论还是需要一些功底的，多学点数学有一技傍身，抗风险性会强一些。毕竟未来如果所有人都会写代码，可能写代码本身就不是核心竞争力了。哪怕对普遍算法有一些基本概念总是好的。

当然不一定要这么看重学位，上上公开课给自己充充电也是好的。

find_advice 发表于 2016-4-22 09:56
其实我觉得学学无妨。

纯写代码的话，现在人越来越多，会不会饱和不好说。DS相关的理论还是需要一些功底 ...

多想指教～我也是这么想得！

cccpwx 发表于 2016-4-22 13:21
我觉得大数据过热了。

---------------------------------------------------------------------------
...

要再深入一些。kaggle那种比赛更多的是用ML解决问题，研究生要深入到ML最基本的原理上。

补充内容 (2016-4-22 13:28):
其实kaggle这种比赛更多的是所谓的DM而不是ML，二者略有区别