一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 1749|回复: 13
收起左侧

[找工就业] 请问: big data的工作大都是在干嘛呢

[复制链接] |试试Instant~ |关注本帖
最初的梦想2013 发表于 2014-9-25 22:12:23 | 显示全部楼层 |阅读模式

2014(4-6月)-[12]CS本科+3个月-1年 - 网上海投| 码农类全职@ss

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
现在big data很火,工作是具体做些什么呢?从头写算法,或者只是用一些算法库呢,还是只是做一些维护啊?
-google 1point3acres我现在的组就是在维护代码,很少写新东西。

xuyirio 发表于 2014-10-21 15:15:43 | 显示全部楼层
误打误撞做了一名data engineer,然后业余学习了一些data science相关的知识,我对big data的理解是它涵盖了从取得数据到分析再到应用的一系列工作。宽泛一点说,只要涉及到大数据的工作,都可以宣称属于做这个目前非常火热的领域。从职位分类来说,主要是这么几种:
1. analyst:侧重分析,主要是用现成的、容易获得的数据,几乎不编程。背景为商科,或者MIS里非技术导向的毕业生,做这个的比较多。
2. data scientist:给一个topic,自己选择dimensions,并通过各种工具获得数据,然后建model,分析,做experiments,进一步获得数据,反馈,修改model,和做research非常像。少数公司设立这类职位,少数中的大部分要求candidate有PhD学位,学statistics或者machine learning方向的居多。不光要会分析,也要会programming以抓取数据并建模,熟悉相关的算法(不同于我们刷题时用到的算法),但未必要有strong CS background。
3. data engineer:SE的一种,只不过我们programming的对象是各种data pipeline。最基本的是做data ETL(Extract, Transform, and Load),简单的可以用SQL,复杂的就要写Go/C++/Python/Java程序了。什么程序?这个根据公司不同,用的工具就不同,像我就是天天写Map Reduce。有些data scientist也写这些,和他们不同的是,我们不管分析,但会负责管理更多数据。基本简单的script轮不到我们写,我们一般处理那些需要保证accuracy或者on-time delivery的数据,而这些数据一多,就衍生出了对比如infrastructure、dashboard、data quality、query search一系列的需求,也会因为不同数据的priority及complexity而有侧重。考古了解到我们组四年前才五六个人,现在已经发展三四十人,还是觉得活好多啊做不完啊,谁叫现在啥都是数据说话
4. software engineer:开发那些用了大数据概念的feature,比如说应用data scientist研究出来的model们

评分

2

查看全部评分

回复 支持 反对

使用道具 举报

盼小梨 发表于 2014-9-26 23:22:29 | 显示全部楼层
我实习在一家startup打着big data scientist的旗号。实习半年,做的事情就是在网上搜集数据,大量的数据,存到aws上。。
回复 支持 反对

使用道具 举报

Ricardotsui 发表于 2014-10-9 22:39:07 | 显示全部楼层
Big Data这个领域太泛了,有做数据分析方向的,有做编程的,也有做架构的。我猜你是想找编程吧?那么其实很多时候只是把程序写出来跑通就可以,不需给客户用,所以算法效率此时就不那么重要,当然很多时候算法得自己写/改。我觉得很多时候环境的搭建比写算法难,很多时候搭出来了也不理解,主要是我不懂分布式系统的网络知识
回复 支持 反对

使用道具 举报

nibuxing 发表于 2014-10-10 05:30:25 | 显示全部楼层
盼小梨 发表于 2014-9-26 23:22
我实习在一家startup打着big data scientist的旗号。实习半年,做的事情就是在网上搜集数据,大量的数据, ...
.鐣欏璁哄潧-涓浜-涓夊垎鍦
求内推。。。
回复 支持 反对

使用道具 举报

 楼主| 最初的梦想2013 发表于 2014-10-13 23:00:15 | 显示全部楼层

你是big data的工作,在写sql? 那不是数据库的吗?
回复 支持 反对

使用道具 举报

yishi1215 发表于 2014-10-13 23:38:38 | 显示全部楼层
基于我个人的工作经验和理解,如果是做data analytics的话,从头写算法这种事儿比较少,更多的是用现成的库。程序员的作用体现在,分析数据,理解数据,根据具体问题想出合适的算法,选取合适的feature,之类的。
回复 支持 反对

使用道具 举报

On_the_way 发表于 2014-10-14 13:41:06 | 显示全部楼层
我只是听说这是一个需要读phd的方向。。据说做machine learning 和 data mining这两块的人大部分时间都在做数学计算,编程的时间反而很少。
回复 支持 反对

使用道具 举报

 楼主| 最初的梦想2013 发表于 2014-10-15 03:25:18 | 显示全部楼层
On_the_way 发表于 2014-10-14 13:41
我只是听说这是一个需要读phd的方向。。据说做machine learning 和 data mining这两块的人大部分时间都在做 ...

这么说不适合ms做吗?但是现在很多课程都是big data啊,我选的课程都是与big data相关的,如果一定要找这样的,是不是没什么竞争力,就是做了也没什么前途?
回复 支持 反对

使用道具 举报

On_the_way 发表于 2014-10-18 00:12:50 | 显示全部楼层
最初的梦想2013 发表于 2014-10-15 03:25
这么说不适合ms做吗?但是现在很多课程都是big data啊,我选的课程都是与big data相关的,如果一定要找这 ...

这个我也不太清楚,我可能也不打算走那个方向,你可以另开个贴问下
回复 支持 反对

使用道具 举报

kinslover 发表于 2014-10-18 10:39:24 | 显示全部楼层
“新”概念,适合忽悠和圈钱…….鐣欏璁哄潧-涓浜-涓夊垎鍦
. 1point 3acres 璁哄潧
所以,大部分都不太靠谱,顶着相同的名号做着各种原来的老事儿
回复 支持 反对

使用道具 举报

zaf 发表于 2014-10-18 11:20:23 | 显示全部楼层
我认识的大多是sql, hive和pig之类的
回复 支持 反对

使用道具 举报

secret 发表于 2014-10-21 13:30:40 | 显示全部楼层
Big data的宽泛成都堪比一个专业。不过具体来说分两部分,第一个就是数据分析,给你一大堆数据,挖掘一些有用信息,决策支持等等,可以参考的课程包括:machine learning, data mining......
第二个也是我本人involve的就是实现大数据分析的架构,或者说infrastructure。比如这么大的数据量存在哪?怎么存?怎么快速查询? HIVE, HDFS。。。还包括这么大的计算量怎么算? MR,PC。。。。
.鏈枃鍘熷垱鑷1point3acres璁哄潧
回复 支持 反对

使用道具 举报

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-6 04:55

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表