为什么有的公司infra 组是真的造轮子，有的是在做 Ops and Tools

最近看了一些 Uber 和 Pinterest 的 tech blog, 不禁感慨和羡慕他们有那么多可以造轮子的机会。对比之下，某些大厂的 Infra 组，很多就是用现有的 cloud service 搭戏台，而且真的是 DevOps + Tools 的搭戏台, 就是比如 infra as code 的CDK 或者 Terraform写好 template library code， 然后写好一些 connector library 和 monitoring tools, 然后让下游组很容易的 spin up infra， 美其名曰 engineering impact. 然后一点 business use case 都不涉及, infra 也根本不给 innovate 的机会。 下游组用你的工具用爽了，business impact 也有故事讲，然后技术含量高的比如 System Design 面试经常可以吹牛的那些technical challenge， 下游组都可以涉及到。反观这种 DevsOps + Tools 的 infra 组更本涉及不到, 除了麻烦也讲不出什么 technical challenge。

就是好奇都是 infra 组，为什么会有这样的差别。
还有比如以后面试 infra 或者 platform 组，应该问哪些信息来判断不是 DevOps + Tools 的这种Infra 组。

个人认为的好infra组几个评判标准，不用全满足：
1. 对公司revenue产生直接影响，有内部和外部用户群体且都要收费，比如aws/gcp上面卖的服务
2. 专注某些重要领域，storage/db/message/network等等，self-contained，不会对某个具体的产品组产生强依赖，不用经常看上下游脸色行事，内部每隔几年会有架构的创新，设计各种scalability/reliability/migration的问题，migration这点特别说一下，如果是关于迁移到新架构的一部分，那绝对是含金量极高的吹逼资本。与之相比的是各种ci/cd/release组，规模相对小的公司包括某些pre-ipo，通常会把这种组包装成platform组，以刚才提到的那方面最坑，关键词就是你说的docker/terraform/puppet/release/ci/cd，这种组有一个算一个全是坑。
3. 有非常特别的应用场景需要infra领域的创新，你说的uber/pinterest所在的领域就是这类，与之相对的是一些公司，对infra的需求就是规模能跟上就行，一开始自己维护集群，什么postgres/k8s集群，后来发现顶不住了维护成本还高，就直接上云了，这种在公司里地位能高到哪去？
还有其他方面，就先列举这些。

楼主恰恰搞反了，那些造轮子的公司要么就是流量非常大，有这个需要，比如G、FB。要么就是纯粹内卷的结果，要升职就要证明自己搞出特牛逼的东西。。。

实际上放眼工业界，还不如多学学cloud上搭平台有用。这个就是未来工业界趋势。。。。

打个不客气的比方，你这就像某小帮派刚刚入门的小学徒，在担心打狗棒法的顶级威力比不上降龙十八掌。无论是自己造轮子（比如FG），还是搭积木，比如NFLX，如果能稳定handle 大流量，并且方便将来的维护和扩张，那你都是顶级人才，根本没有任何可以担心的。

可以看看系统领域相关顶会的露脸程度

首先主要是他们的PR做得好，这些都是宣传招人等目的。其次小一点的公司确实更有机会做一些中间件infra，而大一点的公司该做的基本都已经被做了。

外面没有东西合适自家公司的需求才会自己造轮子。

都是有好处有坏处的。。。

may_nineteenth 发表于 2021-5-22 13:19
首先主要是他们的PR做得好，这些都是宣传招人等目的。其次小一点的公司确实更有机会做一些中间件infra，而 ...

Uber 和 LinkedIn 都喜欢自己造轮子， 这两个不能算是小一点的公司吧。

匿名者 发表于 2021-5-22 13:19
可以看看系统领域相关顶会的露脸程度

比如有哪些顶会呀

匿名用户 发表于 2021-05-21 22:49:48
比如有哪些顶会呀

OSDI/SOSP,EuroSys,SIGCOMM,ASPLOS,NSDI, SIGMOD/PODS ,VLDB.
系统领域的挑战，尤其工业界，还是和规模有关。其实也是有这种需求的大公司的infra才会和engtools分得清楚

LittleFishBall 发表于 2021-05-21 22:48:56
Uber 和 LinkedIn 都喜欢自己造轮子， 这两个不能算是小一点的公司吧。

linkedin很多年前搞的kafka（confluent）算是业界标准了，不过楼主说的是uber和pinterest，这两家也没搞出什么吧。hudi？感觉类似的东西在更大一点的公司里不是没有吧，只是没有动机去推。推开源也挺耗费精力，大公司推这个没啥回报啊。

之前confluent还在我们单位楼下租office时还去他们招人活动蹭过pizza，现在真是风生水起了。

匿名者 发表于 2021-5-22 13:56
个人认为的好infra组几个评判标准，不用全满足：
1. 对公司revenue产生直接影响，有内部和外部用户群体且 ...

问题就在于这些在面试的时候也不好打听清楚。