[请教职业发展路径] HPC技术路线值得做下去吗？

新人首次发帖求教 - 关于职业发展路径的考量：个人背景是PHD毕业之后在学术界做了几年高性能计算相关，独立开发过一些算法并实现过几个比较大规模的计算项目(C++/MPI，总量约5-10万行)，python也比较熟。之前考虑找教职，现在倾向于转到工业界，想请教各位业界大拿这条技术路线在业界的前景如何，是否值得坚持下去？还是适合转型为更适合互联网或者AI公司的技术栈？


倾向于不继续考虑教职的原因：
1.工资较业界低了不少
2.会写代码的学生大部分都转码了，招不到合适的学生/postdoc
3.小方向内同行都不懂计算，做出很难的问题得不到认可
4.中美拉锯，24年后预计情况会更糟糕，个人担心教职逐渐成为高危行业


坚持HPC技术栈的理由：
1. 有一些积累，对各种轮子库和并行数值算法都很了解。去业界做相关方向的话如果刚好有地方需要，不至于从entry level的级别重新开始。


转型到互联网或者AI的技术路线的理由：
1. HPC技术栈业界需求很少，只有一些大厂AI infra和一些做工业软件的公司可能会需要这个。
2. 互联网或者AI技术路线的话业界需求更多一些，流动性更好，当然可替代性也有可能更高（算是有利有弊？）
3. 个人在HPC和C++这条路线上进一步提升技术也遇到了瓶颈，很多东西是需要有高手带着才能更进步，单干的话很难搞明白什么是best practice。同时个人c++水平也比较有限，虽然能够带几个学生一起开发，但是做不到像高手那样流畅的设计几十号人一起协作的大框架或者写出各种SFINAE模板。

感谢各位的建议！

传统HPC，不管是去业界还是学界，其实出路都不算很广。但是做HPC的人，完全可以转去做AI、芯片之类的，选择面就宽很多了。

同行握爪？

三大云平台HPC组考虑一下？RDMA老祖Dotan Barak都加入Azure了。Intel Cary什么的作为后手也不是不能考虑。AI Infra确实是好方向，之前很看好MLIR，也有段时间没关心了。

熬到入籍以后进DOD，DOE外包公司吃政府外包项目，钱多事少。

从纯应用角度来看，药厂，金融之类也是需要HPC的技术的，这些地方的技术水平对lz的级别应该是信手捏来，直接做manager/director都可以

在一个做云HPC的公司工作过几年。 纯HPC的addressable market 太小了 50B 到顶了。所以注定不会是next big thing.。 大佬可以考虑去AI公司例如自动驾驶汽车做AI或者模拟相关的infra.

楼主你好，我是菜鸡HPC一枚。我觉得可以去工业软件公司吧，国内国外都行，国内好像挺需要的，给的钱挺多的。

不懂，顶一个

lcui 发表于 2022-01-12 10:39:07
楼主你好，我是菜鸡HPC一枚。我觉得可以去工业软件公司吧，国内国外都行，国内好像挺需要的，给的钱挺多的。

感谢讨论。 工业软件的问题是每个市场都非常小，很容易垄断饱和。国内目前这批后来者很难插足。同时尖端的软件往往要和尖端的产品同步迭代，国内刚起步的这些工业软件不知道有没有这种同步迭代的机会。国内目前一阵热度能维持多久也是个问题。

striges1111 发表于 2022-01-12 14:52:29
同行握爪？

三大云平台HPC组考虑一下？RDMA老祖Dotan Barak都加入Azure了。Intel Cary什么的作为后手也不是不能考虑。AI Infra确实是好方向，之前很看好MLIR，

感谢讨论。难得能碰上同行。不过感觉你可能比我技术更好更低层一些，我没有关注过编译器IR这种底层的东西。

intel最近几年hpc这块东西太乱了不知道他们要干什么，硬件产品线没有延续性说砍就砍，编译器bug也不修，新的产品又顶不上来，aurora都延期多久了……

云服务商的hpc组倒没有关注过，他们业务模式是啥样的？替代各企业内部的私有小hpc？

Atrionector 发表于 2022-01-12 13:31:30
4.中美拉锯，24年后预计情况会更糟糕，个人担心教职逐渐成为高危行业

工业界稍微核心一点的岗位难道不比教职更加高危吗？

工业界具体看行业吧，身边统计学来看多数行业没大事。教职的话涉及各种funding，很容易在disclosure合规上被抓把柄。

bicgstab 发表于 2022-1-12 19:44
感谢讨论。难得能碰上同行。不过感觉你可能比我技术更好更低层一些，我没有关注过编译器IR这种底层的东西 ...

不仅仅是代替公司内部的小hpc，政府机构也在大量直接使用aws和gcp作为主要计算平台，我个人以为这个是未来发展很好的方向。aws有自己的infiniband，当年觉得他们疯了自己要做ib硬件，结果现在看来非常成功，性能卓越。

还有一个公司现在hpc领域合适风头极盛，nvidia！虽然我觉得他们收购了pgi以后编译器领域并没有什么起色，openacc还是那么的难用。

intel编译器bug，哈哈哈哈

lz愿意加个微信么？

striges1111 发表于 2022-01-12 16:55:24
不仅仅是代替公司内部的小hpc，政府机构也在大量直接使用aws和gcp作为主要计算平台，我个人以为这个是未来发展很好的方向。aws有自己的infiniband，当年觉得他们疯了自己要做ib硬件，结果现

特地注册了一个马甲来发帖，加了微信可能就掉码了。。。就在这个话题下面聊好了，这个分区不算热，也许有别的同行看见了有兴趣也来发表点意见我可以多学习学习。单干太久了，挺想了解大拿们的看法。

个人不是很看好类似openacc这种基于编译器扩展的并行框架，这样和编译器版本强绑定，迁移性扩展性和修bug的便利程度都不好。哪怕像openmp这种存在很多年的事实标准，intel的iomp5连带着llvm的libomp都有不少问题，有时候pragma写复杂一点就gcc能过llvm不过，或者反过来。openacc可能迟早要步cilk+后尘。tbb这种只依赖标准cpp的库可能迁移性好一些，不过好像各家都想推自己的一套框架，tbb得到的关注似乎比较有限。

nvidia确实势头不错，不过不知道会不会要我这种经验偏应用，缺乏底层技术的人。。aws和gcp的hcp部门确实值得多了解了解。