一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 1352|回复: 19
收起左侧

[找工就业] 大数据开发是什么概念

[复制链接] |试试Instant~ |关注本帖
uuisafresh 发表于 2016-5-10 20:54:35 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
地里有没有伙伴是做大数据开发的,想问问做这方面研究生要求学些什么东西

上LinkedIn搜了搜相关职位,大概是Hadoop,Spark相关框架,然后distributed system和database懂,语言,数据结构?

如果想学Hadoop研究生该选那些类型课?Hadoop如果研究生做过相关项目是不是会好一些

这个方向求职怎样
luochen01 发表于 2016-5-10 21:00:16 | 显示全部楼层
Distributed Systems, Database
回复 支持 反对

使用道具 举报

 楼主| uuisafresh 发表于 2016-5-10 21:14:18 | 显示全部楼层
luochen01 发表于 2016-5-10 21:00
Distributed Systems, Database

需要有Hadoop开发经历嘛?我看过一些学校的distributed system的课表,只有少量Hadoop作业,光学理论会不会不好就业呀
回复 支持 反对

使用道具 举报

luochen01 发表于 2016-5-10 21:20:24 | 显示全部楼层
uuisafresh 发表于 2016-5-10 21:14
需要有Hadoop开发经历嘛?我看过一些学校的distributed system的课表,只有少量Hadoop作业,光学理论会不 ...

其实感觉这种开发其实分两种吧,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。
第一类工作感觉更适用于data analyst这种职位吧,而且现在Hive Spark-SQL这种系统也提供SQL的接口。. visit 1point3acres.com for more.
第二类工作的话通常才大公司里才有,一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些,也更有技术含量。

不知道楼主具体指的是哪一种。。。。
回复 支持 反对

使用道具 举报

 楼主| uuisafresh 发表于 2016-5-10 21:31:58 | 显示全部楼层
luochen01 发表于 2016-5-10 21:20. more info on 1point3acres.com
其实感觉这种开发其实分两种吧,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本 ...

data analyst也要Hadoop经验了嘛,DA不是统计硕士申的?我小白一个也没具体指什么,感觉美国招工要那种即插即用型人才,理论多了会不会不好找工作?

然而层主是PHD并不关心这个
回复 支持 反对

使用道具 举报

luochen01 发表于 2016-5-10 21:38:31 | 显示全部楼层
uuisafresh 发表于 2016-5-10 21:31
data analyst也要Hadoop经验了嘛,DA不是统计硕士申的?我小白一个也没具体指什么,感觉美国招工要那种即 ...

其实我也不清楚这玩意具体指什么,不过第二种招的人应该不如第一种多,毕竟只有部分大公司才有这需求。不过这种工作应该是需要一些理论的,像分布式系统里面的很一致性协议、容错之类的还是挺重要的。

不过话说回来写点Hadoop的应用也没啥技术含量啊,无非是两个函数,加上一些额外的函数和调优之类的。。。
回复 支持 反对

使用道具 举报

 楼主| uuisafresh 发表于 2016-5-10 21:52:26 | 显示全部楼层
luochen01 发表于 2016-5-10 21:38. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
其实我也不清楚这玩意具体指什么,不过第二种招的人应该不如第一种多,毕竟只有部分大公司才有这 ...

额,这么说来地里好多找码农的活都是没有技术含量吧,什么刷题找工作的,除了ML NLP DM几个分支需要数学和理论,普通的开发不都一样么,感觉美国需要更多的是简单的劳动力?
回复 支持 反对

使用道具 举报

 楼主| uuisafresh 发表于 2016-5-10 21:55:22 | 显示全部楼层
luochen01 发表于 2016-5-10 21:38
. 涓浜-涓夊垎-鍦帮紝鐙鍙戝竷其实我也不清楚这玩意具体指什么,不过第二种招的人应该不如第一种多,毕竟只有部分大公司才有这 ...

老实说,现在关于这个技术含量的东西我还真是挺迷茫的,究竟什么才算技术含量,比如说读博读AI,读数学,那应该是很有技术含量的东西了吧,那么博士以下就没有有技术含量的活了么,架构师?Data analyst?感觉好多人去美国就是干没技术含量的活,突然迷茫了
回复 支持 反对

使用道具 举报

luochen01 发表于 2016-5-10 22:09:23 | 显示全部楼层
uuisafresh 发表于 2016-5-10 21:52
额,这么说来地里好多找码农的活都是没有技术含量吧,什么刷题找工作的,除了ML NLP DM几个分支需要数学 ...

我可没这么说啊……
本意是觉得Hadoop Spark这种东西被人炒的特别玄乎,但从应用开发的角度来说并没有太多技术含量。随便找一个会Java的一两天就能学会写MapReduce的程序。这种计算模型本身的目的就是简化开发人员的负担。。。
回复 支持 反对

使用道具 举报

 楼主| uuisafresh 发表于 2016-5-10 22:14:19 | 显示全部楼层
luochen01 发表于 2016-5-10 22:09
我可没这么说啊……. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
本意是觉得Hadoop Spark这种东西被人炒的特别玄乎,但从应用开发的角度来 ...
.鏈枃鍘熷垱鑷1point3acres璁哄潧
没~~这是我自己觉得的,和一些PHD学长谈过,也不知道US什么环境,多谢交流~~
. visit 1point3acres.com for more.
话说看你是Database的PHD,Database博士大概是研究什么的,博士毕业工业界工作内容?ML看得比较多,DB可否简单科普一下,多了解没坏处
回复 支持 反对

使用道具 举报

luochen01 发表于 2016-5-10 22:21:35 | 显示全部楼层
uuisafresh 发表于 2016-5-10 22:14
没~~这是我自己觉得的,和一些PHD学长谈过,也不知道US什么环境,多谢交流~~

话说看你是Database的PHD ...

Database里面也分很多方向,比如Data Integration, Data Privacy& Security, Data Processing (像Hadoop Spark这种), Graph & Array Processing, Streaming, Search还有传统的数据库、事务处理之类的。. from: 1point3acres.com/bbs

我是偏data processing/management systems方向的,毕业以后估计也是去做db的公司或者大公司里的做data processing systems的组里吧

补充内容 (2016-5-10 22:23):
另外本质上来说ML/DM方向更关注搞各种模型 算法分析数据,DB里面更关注从这些算法里最基础的原子操作,并想办法让计算更大更快
回复 支持 反对

使用道具 举报

cs900601 发表于 2016-5-11 23:41:58 | 显示全部楼层
曾经参加过这么个大数据培训班的宣讲会,他们把大数据的工作分这么两种:. 涓浜-涓夊垎-鍦帮紝鐙鍙戝竷
1)Big Data Software Engineer,修理/开发/建造大数据的基础设施,依靠这些设施来完成数据的ETL(Extract/Transform/Loading)等。
2)Big Data Scientist,使用大数据设施进行数据分析给出业务决策
第一种人与第二种人最大的区别是第一种人需要类Java/C++的语言,而第二种更多用到scipy之类的
第二种的收入和在食物链上的位置都比较高…

这两种职业的分别,在大数据时代之前就存在。在多年前就有这么个公司,在这公司里,前者叫Engineering Support,后一种叫Business Strategy Analyst,后者编写各式各样,有时长达数百行的SQL查询来做业务分析,前者通过人力或自动的方法对这些SQL查询进行优化,使原本要执行几小时的SQL查询能在几秒内完成之类的。. Waral 鍗氬鏈夋洿澶氭枃绔,

补充内容 (2016-5-11 14:43):
注意:以上是我听说的。不是一手资料。真实收入得到Glassdoor等网站查询。

补充内容 (2016-5-11 14:51):
我这个帖子对Data Scientist的定义写得有错误,请忽略本帖中的内容。在此表示歉意。
回复 支持 反对

使用道具 举报

小K 发表于 2016-5-12 00:28:28 | 显示全部楼层
cs900601 发表于 2016-5-11 07:41
. from: 1point3acres.com/bbs 曾经参加过这么个大数据培训班的宣讲会,他们把大数据的工作分这么两种:
1)Big Data Software Engineer ...

这让建模的人情何以堪. Waral 鍗氬鏈夋洿澶氭枃绔,
analyst 收入高?醉了。。。。no way的。。。。
回复 支持 反对

使用道具 举报

paavo 发表于 2016-5-12 00:43:16 | 显示全部楼层
关注data方向的发展趋势
回复 支持 反对

使用道具 举报

cs900601 发表于 2016-5-12 04:42:29 | 显示全部楼层
小K 发表于 2016-5-11 10:28
这让建模的人情何以堪
analyst 收入高?醉了。。。。no way的。。。。

啊,不好,造成误解了
我说的很可能有错,只是道听途说,没有一手资料。
造成困扰我在此道歉。

补充内容 (2016-5-11 14:45):
还有,请问你说的 Modelling 是不同于 Analyst 的一种职位吗?我不是很清楚 Big Data 的分工,欢迎批评。

补充内容 (2016-5-11 16:12):. 鍥磋鎴戜滑@1point 3 acres
我为我的回帖再表歉意,我12楼的回复中多是主观臆测成分,对网友造成了误导,也对一些大数据从业人员造成了无意的攻击与伤害。造成了这样的结果,我为自身对大数据还没有完全了解就发言刷存在感的行为表示羞愧。
回复 支持 反对

使用道具 举报

小K 发表于 2016-5-12 09:06:22 | 显示全部楼层
楼上的别激动,对事不对人
回复 支持 反对

使用道具 举报

Soviet 发表于 2016-5-12 11:00:46 | 显示全部楼层
uuisafresh 发表于 2016-5-10 08:55
老实说,现在关于这个技术含量的东西我还真是挺迷茫的,究竟什么才算技术含量,比如说读博读AI,读数学, ...
鏉ユ簮涓浜.涓夊垎鍦拌鍧.
技术含量的活,就是,PM提出需求了,能迅速的优雅的设计好技术方案,写出的代码质量好,bug少,出了bug能迅速的搞清楚原因并且能漂亮的修好。。我感觉就这些看起来很基本的要求大多数人也是没个几年实践做不到的。简单的说,就是,get things done. 真实工作环境中没那么多黑科技去开发的。。再黑的科技,最终不是也得变成用户体验良好的产品么,能做出来,也是很有技术含量的活吧。你觉得的技术含量的活儿可能得读phd去各大公司的research 部门了。
回复 支持 反对

使用道具 举报

luochen01 发表于 2016-5-12 11:23:12 | 显示全部楼层
Soviet 发表于 2016-5-12 11:00
技术含量的活,就是,PM提出需求了,能迅速的优雅的设计好技术方案,写出的代码质量好,bug少,出了bug能 ...

楼上这个观点还有道理啊
PS 赞头像。。。

补充内容 (2016-5-12 11:23):
很有。。
回复 支持 反对

使用道具 举报

Soviet 发表于 2016-5-12 12:53:12 | 显示全部楼层
luochen01 发表于 2016-5-11 22:23
楼上这个观点还有道理啊
PS 赞头像。。。

红色帝国的暴力美学?
回复 支持 反对

使用道具 举报

 楼主| uuisafresh 发表于 2016-5-12 14:32:34 | 显示全部楼层
好好~欢迎各种观点!
回复 支持 反对

使用道具 举报

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-3 02:38

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表