怎么准备ML Coding Interview特别是Debug ML training model

• 地里的朋友们大家好，我目前是作自动驾驶的prediction和planning方向，在从传统的rule-based的方法往learning-based方法转型，感觉现在的公司做的太慢了或者说没有机会参与更多的learning-based工作，想跳槽去其他公司类似组作更多learning-based的工作
• 最近面试了两三家公司的ML prediction和planing的职位，都是在ML Coding Interview特别是Debug ML training model的环节挂了，模式都是一样的，就是给一个ML pipeline，说里面有几个bug，要一个一个fix，可能是我模型搭建和训练还不够熟练的原因，很多时候都要面试官提示才能找出bug，然后fix，所以fail了
• 请问大家，如何积累这方面的面试经验，地里或者网上有什么工具，或者大家任何的经验分享，都对我很有帮助，我目前不急着找下家，但是还是想多积累经验往这方面转，想根据这几次的失误，吸取经验，以免下次同样的问题又fail了，谢谢！

补充内容 (2025-05-15 05:47 +08:00):

看到了大家的回复，补充以下我之前面试遇到的bug类型：

• 简单的2D CNN 做image object detection，记得经过提示有两个bug: 一个是计算loss的时候把label当作pred，导致loss一直降不下来；另一个是validation set和training set的参数不一样，导致distribution 不一样，所以validate的效果很差，把validation set的参数调成和training set的参数一样就好很多了
• 还有个比较难的autoregressive transformer based prediction model, 记得好像有这几个bug: 一个是input embedding的参数好像设置为zeros，导致embedding以后一直为0，改称randn就好点；另一个是attention mask初始化因该是-inf而不是inf； 最后一个好像是很简单的输入和输出，把输入当成输出，导致模型训练的loss很小，因为相当于训练一个X->X线性模型

可以看看Andrej Karpathy的油管视频 从零开始搭讲得很细 做了好多年learning看他的视频都很有收获

我还没怎么面过太多 ML coding 题目，之前面 Antropic 的时候有个 ML coding 题目，最后跑出来 AUC 干到 1 去了，后来发现是 data 埋了坑，用老本行 feature importance 给揪出来了。总结一些自己做推荐系统的时候遇到过的一些问题
1. offline 效果好 online 效果差, 有可能是 traffic distribution 不一样了，也有可能是 training feature 有 label leakage
2. 模型 training NE/loss 突然炸了，可能是突然遇到巨大的 gradient, 这时候可以考虑 clipping; 也可能是遇到坏点数据了，这时候考虑 blackout (假设是 date partition)
3. 其他的一些 modeling 的 bug 这个感觉实际没遇到很多，一般会跑跑简单的 unittest 来测试一下
4. 模型 online prediction 炸了，很有可能是某个 feature 挂了

mtj66666 发表于 2025-5-13 23:36
可以看看Andrej Karpathy的油管视频 从零开始搭讲得很细 做了好多年learning看他的视频都很有收获

好的，多谢，之前上Deep Learning课的时候看过他的视频和blog，确实讲的很详细和清楚

不知道你的bug主要是因为ML model原理不熟，还是pipeline integration不熟悉？
前者看视频复习，自己实现模块（e.g., decision tree)，后者找一个实际的面试problem，自己想想需要什么模块，试着从头到尾实现一遍。
这些题多半靠的不是“面试经验”，是实际工作中积累的经验。如果你工作中没有机会，时间又宽裕，就用personal project来积累经验。
有一些blog也会贴做e2e system的代码，可以参考。但是这类blog质量一般良莠不齐，要注意鉴别。

楼主能给几个例子吗？好奇是什么bug？pipeline很复杂么？

lz说的太general了，你是被考modeling还是infra，这两种考点差远了

lazycat321 发表于 2025-5-14 16:53
楼主能给几个例子吗？好奇是什么bug？pipeline很复杂么？

请看我的补充帖子

我是岁静派 发表于 2025-5-14 17:06
lz说的太general了，你是被考modeling还是infra，这两种考点差远了

请看我的补充帖子，我觉得bug主要是跟model和training的输入输出，loss，还有dataset的distribution相关，但是这也是我目前指导的，可能还会有其它类型的bug

snowblink 发表于 2025-5-14 12:59
不知道你的bug主要是因为ML model原理不熟，还是pipeline integration不熟悉？
前者看视频复习，自己实现 ...

很有用多谢，可能还是要多做一些personal project，多训练模型解决一些常见的问题