Machine Learning Design的框架，欢迎讨论

自己整理了一个Machine Learning System Design的基础框架，从preprocessing到最后model evaluation，以page recommendation为例，欢迎大家讨论，补充跟指正。

Scenario: Clarify question/senario/feature/background
System goal: Clarify metrics

Data extraction:
1.target variable construction:
•        Deduplication
•        EDA(0,1 ratio), imbalance data
2. Feature engineering:
•        What should be feature: page metadata, user metadata, friend metadata
•        Important feature distribution

Preprocessing(why preprocess): 1. Text embedding 2. Categorical feature 3. Date Parse 4. Missing value 5. Outlier detector

Model selection: There are 3 widely-use classification model
Logistic regression is a linear classifier(linear combination + sigmoid function(Monotonically increasing)). The model output

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

le data set.
Model Calibration if necessary.

• Online evaluation
  

Before model deployment, I would do a A/B test to compare existing policy and using new model as recommendation policy.
Metrics: num of like
Two proportion sample test, z statics, 5% significant level

Model iteration:
•        Batch model: monthly retrain, better solution is to monitor AUC
•        Online retrain: using latest hour/daily data to partially update model parameter (add a tree with smaller learning rate)

wwx_27 发表于 2020-10-4 23:25
Normalize data只在linear model中比较有用，比如linear regression和logistics regression，不过欢迎继 ...

nn里也需要，不然loss shape会比较难看，优化起来困难。

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

Preprocessing 可能还需要做standardization跟normalize data

谢谢楼主分享干货

Thank you!!

谢谢分享，干活满满

您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 100 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

Data generation 这块可能还要考虑下用什么data 做training， label 是什么，
Metrics 这块如果是个ranking problem， 那就不仅是AUC，要用些专用的metric 比如 MAP@K , NDCG

transcendence 发表于 2020-10-28 01:43
Data generation 这块可能还要考虑下用什么data 做training， label 是什么，
Metrics 这块如果是个rankin ...

ranking problem值得仔细讨论，欢迎添加NDCG的细节