大模型并行化训练接下来会不会有很多岗位

最近的AI生成模型（GPT, stable diffusion, etc)大火，那大模型(>100B parameters) 的并行化训练是不是会有工作岗位呢？正在努力学习Nvidia Megatron, Colossal AI 等，希望有经验的同学推荐一些学习资源。

只说gpt

首先有这么多gpu能玩儿的这个训练的也就几个公司的几个组

大量工作岗位何以见得

可以把大模型看作sdk，不同的应用场景看作app。需要搬砖的是开发app，开发Java sdk 不需要很多人。

这种雇几个 MIT, Stanford 这种学校毕业的phd来搞就够了，不需要大规模的招人！

我感觉这玩意主导是算力，谁有钱加卡谁就有优势，当然训练数据是最重要的，敏感数据练出来的基本是碾压公开数据。
感觉堆人是没什么用的。
哎，黄皮子又赢麻了，5090 $2999起步，艹。

作为30岁读错方向的phd，我想学这块啊，怎么办？

看看gpt-4 contributors里做distributed training的有几个人？以后也没几家公司会做大规模训练，总共也招不了多少人。

会有，但不会很多。这么容易generalized的东西，需要那么多人干嘛

匿名用户 发表于 2023-4-3 22:12
这种雇几个 MIT, Stanford 这种学校毕业的phd来搞就够了，不需要大规模的招人！

我经历的情况确实差不多，真正做scalability的算法层面，参与的人数挺少的。如果关注会议ML infra方面的publication的话，会发现ml infra phd和业界衔接很紧密，不少情况可以无缝衔接，大多很短时间的ramp up开发环境, tooling即可。好像很少遇到过在scalability层面堆feature（i.e. not need many eng）。当然，也有可能我参与的比较片面。