数据科学家到底做什么性质的工作？

今天想了一下不完整的清单：(again, I am what's usually called a data researcher 根据这个定义)我的描述跟data developer会非常不同。



工作内容：

数据ETL(extract, transform, load)
slice and dice data
predictive models
optimization
EDA　exploratory data analysis
data mining (association rule, clustering etc)
classification
regression
prototype data products(e.g. 在大数据上运行统计模型)
把结果解释给别人听：解释给business team and engineering team完全是两头不同的野兽



不同职位有不同侧重，有的职位基本是做出报表(SQL, or build info dashboard然后给别人看，自己关注工具开发或者报表产生，但是不太管数据到底怎么用来解决实际问题。
叫data scientist的职位里面能给你一个长方形数据，直接fit model的感觉不会很多。给这种现成数据的一般会叫statistician, modeler


数据解决实际问题的工作过程：data driven decision making:

分析问题：

  我看见了一个让我感到意外的现象，需要调查，
  或者我手头有这么多数据，可以从里面找到什么可以产生价值的信息？
  我有一个假设，如何设计实验来验证？(e.g. AB Testing)

我需要收集什么样的数据，拿来以后怎么用？有什么可以预见的问题？我猜测会有什么样的结果？如何验证或者证否？什么格式来存储这些信息？什么数据对我的business question最重要？(KPI) 为什么？是否合理？

数据到手，检查是否有出乎意料的地方？EDA看有什么规律？我计划的数据分析合理吗？符合数据特征吗？我模型的假设被满足了吗？

做好各种alerting，一旦有问题要及时发现。

建模应该是早就想清楚了，等数据到手就是实现下而已。

心中应该熟悉用什么模型解决什么问题合理，不同领域的东西有熟悉的，可以找找类比，

做预测、优化的，用数据验证。

然后看结果，调整，诊断etc，汇报结果，report findings, 别就讲我的ABC pvalue < 0.05要说出找代表什么意思，如何回答最初提出的问题，derive insights, 推荐行动 recommend action。



推荐尽量到处看看这些事情具体实现起来，到底要做些什么事情，体会一下自己到底喜欢做什么。


以下是我个人的观察：

码农更关心没有bug啊，performance啊，但是对搞清整件事情(bigger business question)的来龙去脉不是那么有兴趣。
有人更关心选择KPI, 建模和建立正确的decision making process，
有人喜欢data slice and dice
有人喜欢做帮助分析和理解数据的工具和图标(general case)，但是对真正去看具体项目里面，某个图表代表什么意思毫无兴趣。有人正好相反。
有人比较关心what and why，有人更关心how

这些问题跟你将来工作满意度会有很大关系，早期花点时间figure out为好。

码农更关心没有bug啊，performance啊，但是对搞清整件事情(bigger business question)的来龙去脉不是那么有兴趣。
有人更关心选择KPI, 建模和建立正确的decision making process，
有人喜欢data slice and dice
有人喜欢做帮助分析和理解数据的工具和图标(general case)，但是对真正去看具体项目里面，某个图表代表什么意思毫无兴趣。有人正好相反。
有人比较关心what and why，有人更关心how

这些问题跟你将来工作满意度会有很大关系，早期花点时间figure out为好。

--------------------------
这段让人很有启发。谢谢版主分享。

很喜欢lz这样的写东西风格！
我目前认为自己属于“比较想搞清楚整件事情的来龙去脉，what &why ”的这种人。
恩，我还要继续实际去做，才能真正验证自己。谢谢楼主提供的这些方面！
另外有个问题问楼主，有什么有效的方法可以更快地知道自己到底适合、喜欢哪方面吗？
除了自己尝试去做，还有相关什么行业或者岗位的intern去做吗？（我还在国内），谢谢！

谢谢分享～～
想请教一下LZ，生化+生统 背景的可以找什么样的 position？
目前学了 R 和 SAS，不知道除了CRO 和 pharmacy 公司， 还可以申请哪些公司 intern？
求指点，非常感谢 ～～～

youxiang512 发表于 2014-1-16 07:41
很喜欢lz这样的写东西风格！
我目前认为自己属于“比较想搞清楚整件事情的来龙去脉，what &why ”的这种人 ...

e-commerce (JD, taobao, yihaodian, etc.)

谢谢分享~~~~~

alonever 发表于 2014-1-17 00:48
e-commerce (JD, taobao, yihaodian, etc.)

就是电商的数据相关岗？恩，了解了，谢谢~

本人土鳖研一，学校开了门generalized principal component  analysis， 很难，会拉低绩点，而且正在考G,T,有必要学吗

csartist 发表于 2014-2-21 21:02
本人土鳖研一，学校开了门generalized principal component  analysis， 很难，会拉低绩点，而且正在考G,T, ...

不想修可以旁听嘛~

谢谢小K这么细致的分享！ 想请教一下，如果还没有开始工作，可以通过什么website或者bloger来看一些具体的实现过程吗？
-baidu 1point3acres