谈谈facebook machine learning design

前段时间去面了facebook全职，因为申请的是machine learning track，所以最后是两轮coding+一轮machine learning design+一轮behavior question。这个帖子想跟大家分享一些我准备machine learning design的经验，定位是提供一个数据点，不算权威的分享，希望跟大家讨论学习。
首先地里讲machine learning design的帖子必看的，我觉得有些讲的很好，套路可以学习一下。identify problem -> data -> features -> model -> evaluation -> optimization

然后分享一下我在blind上看到的几篇paper，我觉得对准备面试也挺有帮助的：
1. Predictive model performance: offline and online evaluations
2. Factorization machines
3. A few useful things to know about machine learning
4. Rules of machine learning: best practices for ml learning
5. Deep neural networks for Youtube recommendations
6. Wide & Deep learning for recommender systems
7. Practical lessons from predicting clicks on ads at Facebook
因为我只有两天的准备时间，最后看了3，4，1 （in order）。在飞机上看了两遍5，扫了一下7。

最后面试的时候让设计一个facebook小功能的推荐系统。虽然看了很多套路贴，因为没有mock practice，最后上来还是略慌，讨论了一下数据，label，retrieval + ranking两步之后，直接甩出了5里面的模型框架，然后退回到retrieval + ranking进行了讨论，但基本上整场面试就是paper 5的内容+之前实习的经验。

最后recruiter给的反馈是整体面试表现非常好，讨论offer的流程非常顺利。所以这轮ml design面试表现应该还可以。我个人感觉是，讲模型的时候直接就讲5里面的其实风险很大，一来讲不好容易崩盘，二来感觉如果不讲的很细的话，想要撑完整场面试还是有些困难，最后lz是靠着之前实习的经验塞了很多内容进去。

可能会问到的问题（列出来能记起的）：
1. 有哪些feature可以用，越多越好
2. 如果这个模型有问题，怎么debug，有哪些地方可以出错
3. metrics

最后的最后日常求米，欢迎大家讨论

zeus1 发表于 2019-11-4 11:18
谢谢. 好 ML interview resource?  如何准备?

You must be trolling

Ckt624 发表于 2019-12-3 00:56
模型不用deep learning, 用xgboost/logistics regression 可以吗？讲deep learning 会不会有风险？

我后来回想一下觉得有点冒险，如果碰到懂行的人容易兜不住？我记得看过一篇帖子说讲一般的模型也可以。 主要是准备时间太短，面试的时候根本没有思考时间，问什么就开始想到什么说什么。你如果好好准备一下应该可以吧

感谢楼主分享，脸书和谷歌的推荐系统相关的paper一般含金量都很高，both模型上和工程上。 7 如果我没记错应该是gbdt+lr那篇，不仅讲了用gbdt来特征工程自动化，还有后边讲的很多细节印象很深，比如采样的比例，模型更新周期，还有如何做相关的pipeline和monitor等工程上的细节。

tianjiayangmike 发表于 2019-11-2 13:35
感谢楼主分享，脸书和谷歌的推荐系统相关的paper一般含金量都很高，both模型上和工程上。 7 如果我没记错应 ...

是的是的 这篇文章的模型工业界也有一些公司在用，挺实用的，讲出来的话别人就会觉得你是有经验的人

zeus1 发表于 2019-11-4 05:01
感謝分享 。 我可以問問題嗎

可以呀，欢迎讨论

可以问一下楼主地里讲machine learning design的帖子主要是在哪个版下面吗，蟹蟹！

ZhaoxuanLiu 发表于 2019-12-2 23:46
可以问一下楼主地里讲machine learning design的帖子主要是在哪个版下面吗，蟹蟹！

这个我没有留意诶 我一般直接搜索的