DS 学习 - 打卡贴【欢迎指教】

学习大纲


Programming

• Python: numpy, pandas, matplotlib, scipy, scikit-learn
• R: ggplot2, dplyr, reshape2
• SQL, NO SQL
• Data Wrangling: Regular expressions; Parsing csv, xml files
• Data structure, Algorithm
• Java, C/C++
• JavaScript: web development
  

Machine learning

• Supervised Learning
• Unsupervised Learning
• Reinforcement Learning
  

Communication

• Data Visualization
• Data Presentation
• Project Management
  

Statistics

• Hypothesis testing
• A/B testing
• SMART experiments
  

Big data

• Hadoop, MapReduce
• Spark
• MongoDB
• Hive
  . .и

本人以前工科背景，搞过数值计算方法，用C++写过工程应用软件。现打算转数据科学，通过学习， 初步掌握了以下一些知识点

1. 编程方面：

java： 上了Coursera 上的algorithm I， II (Princeton)，对算法和java有了一些了解

Python：熟悉Python编程，在学处理分析数据的模块

SQL: 上过introduction to database (standford)， 能熟练用SQL

Hadoop and MapReduce: 上过intro to Hadoop and Mapreduce(Udacity.com), 会简单的设置，和MapReduce的简单应用

2. 机器学习

上了 Machine learning by Ng（coursera， 目前在跟Machine Learning specialization（U. W. Coursera)

了解 regression, logistic regression, decision trees, ensemble methods, classification, clustering, neural networks 的基本原理，能用Python 实现

3. 统计方面：

上了Descriptive statistics (Udacity.com)， 以前学过随机过程，uncertainty quantification。

3. 数据分析，表述:

上过Introduction to data Science (Udacity.com)

下一步打算学：

• Ｒprogramming
• recommendation system
• A/B testing
• NO SQL
  

准备做些project，把知识点给串起来。

补充内容 (2016-7-27 10:14):
predictive modeling

补充内容 (2016-7-30 11:51):
completed course "Machine learning: clustering and retrieval" by U. W at Coursera.org.
Learned: KNN, k-means using MapReduce, KD-trees, LSH, EM, LDA, Gibbs sampling

补充内容 (2016-9-4 09:34):
8月小结：
学了 R, ggplot2, dplyr, reshape2.
完成 "The Data Scientist's Toolbox, R programming, Getting and Cleaning Data, Exploratory Data Analysis" in JHU data science specialization (coursera), ...

补充内容 (2016-9-4 09:38):
8月小结续：
练习sql，完成“Managing Big Data with MySQL” at coursera.org

补充内容 (2016-10-1 10:12):
9月小结：
完成 "Reproducible research, Statistical inference, Regression models, Practical machine learning, Developing data products" in JHU data science specialization (coursera)

补充内容 (2016-10-1 10:16):
9月小结续：
learned Spark from "Hadoop Platform and Application Framework" (coursera).

补充内容 (2016-11-6 13:26):
10月小结：
Learned MongoDB, Spark from "Big Data Integration and Processing" (coursera).
Finished "An Introduction to Interactive Programming in Python" by Rice University (coursera)


补充内容 (2017-4-1 13:36):
2016/10 - 2017/3

Finished Algorithm: design and alnalysis
Solved 200+ problems in Leetcode and cracking coding interview

补充内容 (2017-11-27 13:26):
Finished JHU data science Capstone (coursera)
Finished Robotics - ColumbiaX (edX)

补充内容 (2018-1-5 12:55):
Finished Probabilistic graphical models at Coursera

4.1-3, 2017

Coursera Stanford NLP course:
Lecture 10 Relation extraction
Lecture 11 Maxent models and discriminative estimation
Lecture 12 Part of speech tagging

3.2, 2017

Lecture 3 word vector models in CS224d: Deep Learning for Natural Language Processing

Leetcode p32

zzx498636727 发表于 2017-2-5 06:45
楼主您好，

想问一下您每天时间管理是怎样的，我硕士在读感觉上课都很吃不消，希望您能分享下time sched ...

现在晚上2-3个小时刷题。刷题开cheat 模式， 先想5分钟，然后看discuss。刷题过了就挺开心，都没去优化。我这强度和你正规上课没法比，而且要求也不同。
你觉的上课都吃不消，那可能课负荷大，或者缺先修课。有人比你轻松是他以前花功夫了，你也会有那么一天的。

我以前也热衷于时间管理，还看了些书，总的来说对我作用不大，这东西因人而异。我的体会是想要提高效率，最好的是干自己喜欢干的事，而且事成后能给你满足感。研究表明长时间给自己太大压力会降低效率。所以平时多鼓励自己，少刺激自己，干完后给自己一些奖励。打个俗气的比方，比如说我就想着刷一道题赚$20，这样一来刷题就没那么难受了。即使是参考别人的code，也可以鼓励自己说读code能力提高了。
我现在每天都阿Q地对自己说，我今天干的不错了。

SMART experiments 具体指啥？我简单搜了下，没有看到很特别的解释，还是我错过了什么？

7-25-2016
Watched week 5 lecture in Machine learning: Clustering & Retrieval (U. W, Coursera), but do not understand.
Downloaded 2 papers on mixed membership modeling.

Read 12.1-12.3 in Book "Data Science in R: A Case Studies Approach to Computational Reasoning and Problem solving"

Plan to follow this case study to explore data science job postings by web scraping and text mining.

Tasks

• Write general code to scrape data from HTML pages
• Process the data
• Identify the most frequent skills in the job postings
• Cluster jobs into groups
• Find top 5 hiring domains
• Plot geographical distribution of the hiring companies
• Visualize salary ranges for different job types, domains, and locations
• Ask and answer more questions
  

what to learn from this mini project

• Python and R
• Web scraping: API, XML, HTML, XPath,
• Data Wrangling: Regular expressions, Parsing csv, xml, json files
• Text Mining
• Clustering and Retrieval
• Visualization
• Hypothesis testing
  

earlgrey 发表于 2016-7-26 11:00
SMART experiments 具体指啥？我简单搜了下，没有看到很特别的解释，还是我错过了什么？

我正在学统计方面的知识，这个是我从Udacity上拷来的，SMART是 (Specific, Measurable, Actionable, Realistic, Timely) 的缩写。具体是什么我也不知道，只是好奇列上了。

DL 发表于 2016-7-26 11:58
我正在学统计方面的知识，这个是我从Udacity上拷来的，SMART是 (Specific, Measurable, Actionable, Real ...

ic
lz可以在首楼补充下你自己的背景，学过什么，哪些熟练，哪些基本知道，这样大家给建议或者参考你的清单的时候比较有帮助
例如你没有列的东西不是不重要，只是你都会了

earlgrey 发表于 2016-7-26 11:00
SMART experiments 具体指啥？我简单搜了下，没有看到很特别的解释，还是我错过了什么？

欢迎小牛牛来指导。还是你的帖子激励我来打卡的。

regression, prediction什么的好像没有包括？
ab test 应该算hypothesis test 的一种应用？

小K 发表于 2016-7-26 14:06
regression, prediction什么的好像没有包括？
ab test 应该算hypothesis test 的一种应用？

谢谢K姐， 这就加上

7-26-2016
watched Topic modeling by Blei at videolectures.net

7-27-2016
read chapter 3 (CSV, JSON, XML data) in Data Wrangling with Python