开放爱 ML Debug

开放爱 O 店面 - ML Debug
HR 给了 prompt 是要面 ML Debug, 面的是 Transformer 模型的 Debug. 用 PyTorch
形式: 给一个 Transformer model 的 class, 以及训练的代码. 训练部分就是用最简单的 GD 来 fit 一句话, 可以当成是 overfitting. 你可以根据训练结果来看自己的 debugging 是不是成功.
Bug 点:

您好！
本帖隐藏的内容需要积分高于 150 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 150 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式

做梯度下降


面试官挺 nice 的. 面试官知道 bug 在哪, 但是每个 bug 可能有多个改法, 所以如果你改错了, 面试官可能也不确定怎么帮你.


求个大米 (并不浪费自己的)

补充内容 (2025-06-23 06:45 +08:00):
follow up 是

补充内容 (2025-06-23 06:47 +08:00):
实现一下 kv cache for decoding.
已经给了 kv 的 class, 能够简单的 return length 和 (K, V)

训练时应该做梯度下降
---这啥意思。。。。？
难道optimizer没写？ 还是 backward 没写？ 还是啥意思？

output projection 的 shape 问题-- 是最后logits对齐的问题么？

赞 加米。
open爱 和anthr 有面试题list么？

楼主这题还有follow up或者其他讨论嘛？感觉如果知道bug的情况下，应该用不了60分钟做完。。大米以加！

匿名用户 发表于 2025-6-22 15:29
楼主这题还有follow up或者其他讨论嘛？感觉如果知道bug的情况下，应该用不了60分钟做完。。大米以加！

followup 是 实现一下 kv cache for generation

匿名用户 发表于 2025-6-22 15:43
followup 是 实现一下 kv cache for generation

"能够简单的 return length 和 (K, V)" 是指这个提供的KV class要求实现后能返回这两个值嘛？加大米了

匿名用户 发表于 2025-6-22 20:28
"能够简单的 return length 和 (K, V)" 是指这个提供的KV class要求实现后能返回这两个值嘛？加大米了

kv class 是已经实现好了的. 不用自己实现. 直接用就可以

祝lz顺利通过，请问下lz面的是什么职位zszszs

请问Lz面完多久收到消息？