📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 4226| 回复: 11
跳转到指定楼层
上一主题 下一主题
收起左侧

[找工就业] GPU Performance Engineer 求职请教

   
全局:

2025(10-12月)-BME博士+fresh grad 无实习或全职 | 内推| 码农类General全职@nvidia

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
先简单自我介绍。. check 1point3acres for more.
PhD 第五年,非 CS 科班,预计年中毕业,从去年 9 月开始投简历找工。本专业有对口岗位,但三年前觉得 CUDA programming 很有意思,就把研究方向逐步往 GPU / CUDA 这边靠。为了补背景,系统看过 Computer Architecture、Operating System、Computer Networks、Compiler(偏 front-end,理论多、实操少)。未签署任何保密协议,以下尽量避免不必要细节。
发帖目的主要是想请教:GPU Performance / CUDA 相关 ng 的真实 bar、能力栈如何收敛,以及实习—全职的风险判断。.1point3acres
面试经历
目前面过的岗位如下(均为失败经验为主):
. check 1point3acres for more.
  • NVIDIA 某 ng 岗,final round 挂
  • 另一个 NVIDIA ng 岗,12 月初 hiring manager round,约两周后系统拒信
  • NVIDIA China 某 ng 岗,第二轮挂(详见下文)
  • Apple 某 GPU 岗,final round 挂
  • LinkedIn 某 infra 岗,coding + system design,挂
  • Meta 某 intern 岗,offer
  • NVIDIA 某 intern 岗,12 月中初面,至今无后续
以下主要展开失败的几个案例,试图总结共性问题。
1. NVIDIA 某 ng 岗
前面通过的几轮主要是 computer architecture + 一些系统相关问题,这里不展开。主要说挂掉的两轮。
  • 压缩算法 + 并行化
    面试官先让我介绍某压缩算法原理,然后讨论如何实现,在他的引导下聊到了 hash table。接着问如何并行化。. Waral dи,
    这里我卡住的点在于:
    • 算法中很多关键参数(如 hash table size、match pattern 长度)强依赖具体 workload
    • 在面试时间内,很难在不假设背景的情况下做合理取舍
    我意识到自己没有主动缩小 scope,而是陷在“如果真实实现会怎样”的细节里。
  • Graph 算法 + 并行化
    一开始受刷题惯性影响,用 node + pointer + set 的方式建模(事后意识到即便如此也该用 unordered_set)。面试官指出复杂度不理想,随后提示用
  1. std::vector<std::vector<int>>
复制代码
表示 graph。
    到这里其实已经偏离他的预期。后续追问如何并行化时,我再次卡在 scope 上:
    • atomic 算不算并行
    • synchronization 能不能用
    • 并行的目标是 throughput 还是 latency
    面试结束时他告诉我这个算法的名字。事后查资料发现,这是一个带随机性的算法,临场从零推导几乎不现实。
小结:NV 的面试对算法建模能力、并行抽象以及经验驱动的判断要求很高。
2. 另一个 NVIDIA ng 岗
90 分钟 hiring manager 面。问题很多、每题也有不少 follow-up,部分回答不够完美,但整体没有明显失误。两周后系统拒信,推测是综合比较下被放弃。
3. NVIDIA China 某 ng 岗. 1point 3 acres
要求写一个 CUDA kernel,用于测试芯片 FLOPS。
确认 FLOPS 定义(1 multiply + 1 add = 2 FLOPs)后,我直接开始写 kernel: ..
  • register-only computation
  • loop unroll
  • 随手设了 block size 和 grid size
  • 最后写入 global memory
过程中基本没得到 feedback,面试官很快指出 grid size 和 iteration 偏小,而且最后没有写入 global memory,整个 kernel 会被编译器优化掉。
事后复盘,感觉面试官可能想考我 tensor core。但由于我的 research 并不专注于 GEMM / tensor core(scientific computing 场景很少用到),所以没有这个意识。
4. Apple 某 GPU 岗. ----
整体感觉没有明显硬伤,但复盘后确实暴露了实操的不足。. From 1point 3acres bbs
  • 展示过往 kernel
    面试官让我现场讲之前写过的 kernel。我拿了 research code,但因为很久没碰,加上 kernel 本身较复杂,很难在短时间内清楚讲明设计动机和 trade-off,表现一般。
  • Power method 求 eigenvalue / eigenvector
    先写了 C++ 的 matrix-vector multiplication 和 normalization。
    接着问如何优化,我理解成优化 mat-vec,于是提了 blocked multiplication。面试官提示可以把 multiplication 和 normalization 合并,减少 memory access —— 这个角度我完全没想到。. From 1point 3acres bbs
    随后让我写一个 matrix-vector multiplication 的 GPU kernel。我设计 block 共享 vector load,认为能提高 reuse。面试官指出 L2 cache 已经能解决这个问题,这个优化属于过度设计。
小结:实操经验不足,且对硬件已有机制(cache、memory hierarchy)的信任不够,容易想当然地 over-engineer。
5. LinkedIn infra 岗
为了准备,两周速通了 system design(Alex Xu)和 SQL。
面试中 coding 给了 LeetCode hard,system design 发挥也一般。复盘后意识到,自己在一些“基础但不常用”的数据结构(heap、双向链表等)上存在盲区,平时科研和工作中很少用,但面试会考。
6. Meta 某 intern 岗
结合以上经历,这个面试能过更多是对方 bar 相对友好:
  • 写了一个相对简单的 CUDA kernel
  • 两道 LeetCode,难度中等
总结反思. 1point3acres
  • 多次失败暴露的共性问题是:
    • 面对开放式问题时,不善于主动缩小 scope
    • 不清楚面试官期望的 abstraction level(算法 / 系统 / micro-optimization)
  • 一些性能相关题目更像是“踩知识点”(如 loop unroll、float4、FMA),需要先和面试官对齐目标,而不是直接动手写
  • 面试中容易“降智”,在 boundary case、隐含假设等细节上出错
求教
  • 结合以上面试经验,是我能力明显不足,还是 GPU Performance / CUDA 相关 ng 的 bar 本身就偏高?
  • 非科班背景在简历筛选和面试中是否劣势明显?在当前就业市场环境下,ng 与有经验候选人的竞争格局如何?此外,不同经验阶段在 job security 以及工作强度(workload / work-life balance)上的差异大概如何?
  • ML System 很火,但 narrow 到 CUDA 层面的 ng position 似乎不多。初 CUDA 外,很多岗位要求覆盖:
    • Compiler(LLVM / MLIR)
    • Linux kernel / driver
    • Cloud(Kubernetes / Slurm / AWS)
    • 算法或顶会 research
    • vLLM / SGLang / TensorRT
    然而人精力有限,不能什么都学
  • 现在从事 Triton / cuTile / CuTe 等方向的前辈们,当初是通过什么背景或契机进入这一领域的?当时对候选人的经验要求与现在相比是否有所不同?
  • 实习对进入该领域帮助有多大?近期 Meta 相关组的 return offer rate 大概如何,风险是否可控?
  • 如果有前辈愿意从能力建设 / 项目补强 / 定位调整角度给一些更直接的建议,或愿意私信交流,非常感激。

评分

参与人数 8大米 +58 收起 理由
匿名用户-6B8JK + 1 很有用的信息!
微信用户_52fbcc7 + 1 很有用的信息!
DST + 1 赞一个
微信用户_a108e57 + 2 给你点个赞!
jobs_steve + 1 赞一个

查看全部评分


上一篇:新人找不到工作,好焦虑
下一篇:求捞 Meta E5 SWE内部转组 西雅图地区
推荐
Mark6 2026-1-17 02:06:58 | 只看该作者
全局:
面试也要讲运气,不要反思太多。
. ----
“人精力有限,不能什么都学” 是对的,大模型其他方向也一样,面试从model achitecuture 算法,到分布式训练框架,CUDA,GPU Flops 计算,整个stack都可能考。同时可能还考你传统ML的一些八股文。这玩意儿准备不完的,差不多就面,发了interview agenda可以根据它稍微准备一下,然后挂了就move on。。

评分

参与人数 1大米 +1 收起 理由
爱丽丝和鲍勃 + 1 赞一个

查看全部评分

回复

使用道具 举报

全局:
这帖子有phd该有的总结归纳能力,学习了。lz有这种工作态度,肯定能找到工作的!
回复

使用道具 举报

全局:
lz很棒。可以看看🐶家也有类似职位
回复

使用道具 举报

全局:
已经很厉害了博主,我也在走着这个方向,感觉太难了, 要准备的东西太多了
回复

使用道具 举报

🔗
Linda1024 2026-1-17 01:13:12 | 只看该作者
全局:
本帖最后由 Linda1024 于 2026-1-16 12:15 编辑 .1point3acres
. 1point3acres
类似的方向,目前主要focus 在LLM inference了,招工也挺难,也可能是大环境的问题.google  и

你说的 “multiplication 和 normalization 合并”,这应该是LLM里面很常用的fused kernel把

评分

参与人数 1大米 +1 收起 理由
爱丽丝和鲍勃 + 1 赞一个

查看全部评分

回复

使用道具 举报

🔗
(h_x) 2026-1-17 02:29:18 | 只看该作者
全局:
本帖最后由 (h_x) 于 2026-1-16 10:30 编辑

graph的算法是要把adjacency matrix表示成compressed sparse row吗 然后可以per row pointer assign TG来partition work或者加一个atomic work queue来防止load imbalance?
回复

使用道具 举报

全局:
相似方向。lz的总结非常有帮助,一起加油!
回复

使用道具 举报

🔗
rene0303 2026-4-13 11:02:35 | 只看该作者
全局:
楼主加油!
回复

使用道具 举报

🔗
 楼主| 边境牧羊人 2026-4-14 04:03:41 来自APP | 只看该作者
全局:
谢谢,已上岸~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表