ByteDance 美国 RS 实习面经：PyTorch MHA＋论文深挖

分享一次 ByteDance 美国 Research Scientist Intern 的面试经历，供准备同类研究实习岗位的同学参考。
背景与时间线
本人已获硕士学位，目前在香港读 PhD，面试前有 2 年相关经验。这次是网上找到内推后投递，赴美实习使用 J-1 签证。整体面试体验正面，难度一般。以下是我这一次的时间线：

• 2026 年 3 月：开始面试。
• 2026 年 5 月：拿到 offer。
• 2026 年 8 月：J-1 签证下来。
• 2026 年 9 月中旬：入职。

三轮面试
一面：背景／研究经历交流＋手写 MHA。
研究交流围绕自己的 paper 展开，会深入讨论。Coding 部分使用 PyTorch，现场手写 Multi-Head Attention（MHA），并追问实现细节。
二面：背景／研究经历交流＋算法题。
同样会聊自己的 paper，并进一步深入

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

要直接照搬。参考官方说明：、。
已做的校验
在 PyTorch 2.5.1、CPU、float64 下，将相同参数复制到 nn.MultiheadAttention，测试了 3 组 B/T/D/H 配置 × causal 开关 × padding 开关，共 12 组。前向输出、输入梯度和参数梯度均通过 atol=rtol=1e-10 的对齐检查，输出最大绝对误差约 2.85e-16。另检查了修改未来 token 不影响前面 causal 输出、修改 padding token 不影响有效位置输出，以及全 mask 行会报错。这里只验证了这些小规模用例，不是生产性能测试。
如果这份面经和复习补充对你有帮助，欢迎加米支持，谢谢！