跳槽：ads ranking eng vs ML Infra前景求做过其一的大佬建议

满脸喷宁 发表于 2022-02-19 18:42:44
具体说说ML inra的坑把。ML infra大概可以分成feature engineering，orchestration，training infra，online serving，model d

非常好奇为啥online serving是最有技术含量的？serving的时候model已经train好了，那不就是最普通的分布式吗？感觉喝ML不搭边了。

如果是ml infra靠近mlops可能以后的发展会更好

匿名用户 发表于 2022-3-20 11:25
background knowkedge指的是？技术的？还是产品domain？

如果产品domain，那么infra压根没有产品。所以还 ...

infra是个非常大的概念，光ML infra里就有pipeline orchestration，training framework，inference framework，feature store，model service layer，cluster hardware management等等组，隔行如隔山，做到senior以上不爽了想换个product backend或者其它infra项目比如network/distributed database，难度非常大。

匿名用户 发表于 2023-7-23 18:05
infra是个非常大的概念，光ML infra里就有pipeline orchestration，training framework，inference frame ...

prod backend有什么技术门槛呢？

reginold 发表于 2023-07-22 19:02:16
如果是ml infra靠近mlops可能以后的发展会更好

为啥 mlops不就是devops sre吗

匿名用户 发表于 2022-2-18 23:31
Ads Ranking除非有算法背景不然就是做实验的炮灰，基本学不到engineering skill

赞同，不止有算法背景，而且说句不好听的最好是PHD，其他就算了

匿名用户 发表于 2023-7-31 20:59
赞同，不止有算法背景，而且说句不好听的最好是PHD，其他就算了

recommendation呢？

满脸喷宁 发表于 2022-02-19 18:42:44
具体说说ML inra的坑把。ML infra大概可以分成feature engineering，orchestration，training infra，on

楼主想问下2024年的update。
一方面感觉更多大公司开始train和host自己的大模型，问了几家公司他们都说在内部自己搭framework，外面的架构没法直接用，这是为什么呢？ 去搭架构会是写service code吗？还是就写点library scripts那种。

还有一个公司如果只train一两个model，和有一大批需要train大模型的人，需要的infra会有什么区别呢？谢谢！

满脸喷宁 发表于 2022-2-19 19:42
具体说说ML inra的坑把。ML infra大概可以分成feature engineering，orchestration，training infra，onl ...

感谢朋友分享！步入gen ai时代以来有没有什么变化？期待一个2024年版本的分享