寻一起学习ML system design的小伙伴

楼主硅谷大厂码工，有多年经验。coding和普通system design都比较comfortable，唯独ML system design不管是自己当面试官还是candidate，都一脸懵圈。有意提升一下自己的短板，希望有水平较高的小伙伴一起讨论学习。

楼主工作中以server和client的ml infra都做一些，然而没想太明白这些怎么能变成好的面试题。很多ads的人特别喜欢面推荐系统，然而我感觉不知道到底想考察什么，希望得到高人指点。

wudikuail 发表于 2021-05-29 16:13:34
大厂的问题是每个人负责的内容都很有限，所以hands on的东西肯定很少。但是这只是第一手的经验少，不代表没见过或者说自己做做不出来。作为candidate，自然希望展现自己的强项，而不是暴露自己的弱

junior自然是考模型逻辑的多，延伸到具体问题的少。senior的话期待肯定不一样，公司大概不会招一个senior的人还从头开始培养。既然是ML design肯定是对modeling和serving都有要求。从serving的角度来说，就算只是加一个简单的feature，senior candidate也得有个大概的认识加这个feature cost怎么样，在serving时如何实现，用怎样的infra去实现，real-time好不好做，而不是简单提出就可以了。

实际面试当中具体的ML问题有时候看似很直接，但是其实optimization goal并不是很清楚。这其中很多逻辑和弯弯绕绕的东西就是经验的体现了。当然我感觉这些都是锦上添花，即使一开始没想对，但是讨论之后能转到正确的讨论上就OK。

面试背景match的candidate的时候肯定是会想进一步了解candidate的相关经验的。我以前面过一位说自己对recommender system很懂的candidate。我问他具体哪个部分他做的最多最了解，他说全部都很了解。那我就问了一下cold start和exploration该怎么做，他马上改口跟我说他只做过KNN这样的。我觉得要是只是知道KNN和matrix factorization然后就觉得自己很懂这个领域的话，去面相关senior职位估计还是会差一点点

补充内容 (2021-05-30 11:24 +08:00):
就拿一亩三分地来说，面试可以问应该怎么设计这个推荐系统来合理的利用downvote这个功能来提高推荐质量。这不仅要求candidate知道一般推荐系统的serving flow是什么样的，还得知道negative signal是如何integrate到各个component里面的，而不仅仅是知道做个model来预测downvote rate就好了。同时如果要求系统的feedback足够real time，那么还要求candidate知道一般的service cache应该怎么设计, 里面的data structure长什么样，怎么保证feedback有足够的generalizability，应该看什么metrics来证明improvement之类的延伸……

不好意思，楼主发完帖子以为不会有人，没想到大家这么积极。

关于ML system design：理论上来说就是system design但是是专门为ML算法优化的。因为ML用的越来越多，这也越来越重要。但是楼主自己也不是很理解ML system design究竟要考察什么，或者说考察什么是合理的。一道好的面试题应该能robustly把candidate分成不同的等级，而不是恰好了解这个领域就答的好。比如说doordash问怎么predict订单数，如果考察点是如果选合理的feature和model，那恰好做这块的可以直接背答案，不做这块的绞尽脑汁也想不全。

所以有了这么个帖子，想问问大家如何设计面试题，i.e. robust predictor。

什么是ML system design

最近也在学习这块，整理了一些学习笔记，感觉还是要多练

楼主有什麽学习资料推荐大家一起读吗？