统计背景核心技能之外的提升

demonhunter 发表于 2013-9-25 19:36
看来学统计的也不得不一步一步地滑向码农的深渊。。。。。

差的太远了，不可比。。。。
我们总是用各种hacky的办法把东西大致弄出来就好
我这里都还没做到大家code check in 到一起
我的code仍然跟从前一样，乱七八糟堆在自己硬盘里面
组里的git也有人用有人不用
大家各搞各的，大家写的东西整合在一起不怎么容易，并且经常一下就搞坏了。。。。
anyway总之是跟码农弄的东西完全不可比。

不过我还满enjoy这样随便写写东西的，要求不怎么高，快速弄点东西，够用就好。不求甚解en....

某些东西有各种数据，然后用各种办法把它们整一起，ETL-这个步骤虽然很多时候不是做统计的人做的，但是也别指望数据都是别人弄的干干净净的交到咱手上。多少都是需要自己去ETL的。不同地方ETL比例不同，看个人喜好了。我觉得90% ETL的事情我还是受不了的。50%就算是很好的比例了。
然后explore，判断一下用什么方法分析。很多情况下，exploratory的就可以了，算算sum, average，就够，
很多情况，ttest chisq就足够了。这些地方，小数据就好说。如果数据居多，人看不过来，要去伪存真，可能就需要写代码自动化一些过程。

然后剩余的情况才需要高级一点的统计，数据长什么样子用什么模型，评估模型好不好，是否合适数据，用模型的时候做了哪些假设，这些假设都符合实际情况不？不符合的怎么办？都好的话，性能有没有地方可以优化？如果做预测，就放出去看看跟实际情况是否符合。我没啥好说的，我自己水平也就那样。

然后把结果说给别人，结论要有数据支持，“我认为blabla因为看数据是如此这般”。要做图表。心里想的东西最好自己能实现，让别人去搞终归就是慢。

如果类似分析要做多次的，做个东西让其自动化，省得老是简单重复劳动。这个地方可能会有别人支持，比如某模型调试好了，要应用到live site，很多公司是会有dev team来替你实现的。但你要说服别人去替你做这个，如果有prototype东西的能力，说服人会容易很多。

总之，应用统计存在在数据上，最终需要用来derive insight, drive action. 无法独立生存。前前后后都离不开一定coding能力。统计本身根基不错的情况下，增加coding能力会大大增加你能做的事情的scope，对发展会很好。

统计小硕插个话，既然K大妈提到了JAVA，我们上课正在学，教材是Starting Out with Java – From Control Structures through Objects，作者Tony Gaddis。俺们老师特别推荐这本书！电子版也很容易找，而且，就我目前来看也特别适合初学者。只不过，因为才上一年级，还不能太体会java跟做统计有啥联系，估计以后会更有体会吧……

蓝落薰 发表于 2013-9-26 07:01
统计小硕插个话，既然K大妈提到了JAVA，我们上课正在学，教材是Starting Out with Java – From Control St ...

我们本科stat专业必修java
其实本科毕业后我就再也没正经写过java code
但是整个programming的训练为以后打了很好的基础，从自学R，python，上课学C，等等等等，很多编程的思维都是通用的
尤其是OOP的思维，拿java入门挺好的

具体会不会用到还是要看你的project，就算没用到，你学会的skill是可以用到别的方面的

其实这里的“提升”几乎是一种必备了
某种程度上，这些技能也是“核心”之一

小K 发表于 2013-9-25 14:23
visualization

比较入门的 visualize this - 方方面面都沾了一点，特别浅和可操作。

上回跟Hadley Wickham聊，他说ggplot要出3了

duanmupeiyi 发表于 2013-9-27 04:07
我们本科stat专业必修java
其实本科毕业后我就再也没正经写过java code
但是整个programming的训练为以 ...

感谢duanmu姐姐的回复

将来想做web方向的除了上次贴的slides还有这个课可以跟

https://www.udacity.com/course/cs253

web development
我当初只上课，没有做作业，现在很后悔，还得再来一遍。。。。。

小K 发表于 2013-10-11 16:58
将来想做web方向的除了上次贴的slides还有这个课可以跟

https://www.udacity.com/course/cs253

K姐这个web dev的课怎么样？ 我也打算跟一门

北美农民 发表于 2013-10-11 18:09
K姐这个web dev的课怎么样？ 我也打算跟一门

作业很好，所以我来推荐啊。。。。