在meta想换组的进来看看

Losangelskino 发表于 2023-02-12 13:53:27
meta ads infra学到世界最前沿的技术？你们那个infra基本纸糊的，糊东墙漏西墙，从设计理念，到执行，远远地落后于aws和azure.

azure low level的码农表示还能有比azure 的infra更烂的，惊了

ads infra那套老旧系统。。。进组上手后90%大概率都是在oncall
牛逼不是这么吹的。。。坑新人不是这么坑的

匿名用户 发表于 2023-02-12 15:40:52
十几年data warehouse工作经验的表示说的没错。
Meta的warehouse是我见过的最复杂，最无法理解，最拖后腿，效率最低的玩意。
根源就是ads和其他组的自创轮子，当然ads创造的

最近刚好看了些关于data infra的wiki，能展开说说为啥scuba能解决saber的问题么？（没有杠的意思，noob真诚发问）

baozi748 发表于 2023-2-26 13:48
最近刚好看了些关于data infra的wiki，能展开说说为啥scuba能解决saber的问题么？（没有杠的意思，noob真 ...

saber主要是解决ads provider需要的aggregation数据的问题。
scuba同样可以很快的生成aggregation数据然后由account manager发给用户。

其他相同相似的设计就不提了。
只说最大的不同。

Saber的理念其实是：
既然我要随时给用户生成报表，那我不如每个时间段都生成一份aggregation数据存起来，用户要的时候马上就能拿到，或者把已经aggregate好的数据再根据数学公式算一算，就能很快得到avg，count，sum这种结果。

这个会造成大量的储存空间和计算资源的浪费，以前meta家大业大无所谓，大手一挥给你安排3000台机器专门只干这事儿。现在转向节约高效，资源吃紧的情况下，你这3000台机器不如给1000台去scuba然后2000台就free了，还能造福别的query。

用户提交报表request会稍微等几分钟，但是这是很容易接受的一件事，业界通常都是这么做的，比如可以参考你在workday上生成paycheck report的流程。

匿名用户 发表于 2023-2-26 13:14
saber主要是解决ads provider需要的aggregation数据的问题。
scuba同样可以很快的生成aggregation数据然 ...

如果只是单纯想学东西有infra组推荐的吗 ？

Omniphobia 发表于 2023-2-26 17:01
如果只是单纯想学东西有infra组推荐的吗 ？

有啊，datainfra或者dev infra都行。
tupperware的组，presto的组，core data。
不过说实话，你要是一穷二白进来想catchup的话，这些组非常不错
但是你有点经验以后，就会发现这些组其实已经很成熟了，成熟到没啥前途。
. 现在业界都在等下一个jeff dean，来一套类似2010年的hadoop这种开创性的ecosystem，才能把未来十年铺垫好。

data infra挺好的，做做数据库相关的。

匿名用户 发表于 2023-2-12 16:09
ads infra要么自己在Data Infra造轮子，要么就是基于data infra的东西build一些wraper。
说白了没啥新奇 ...

我和Ads Infra合作很多，接触的人都挺合作，把他们当甲方对待是应该的。做的feature要是Ads用上了，impact马上就有了。

匿名用户 发表于 2023-2-26 14:40
有啊，datainfra或者dev infra都行。
tupperware的组，presto的组，core data。
不过说实话，你要是一 ...

可以推薦一些dev infra的組嗎?
PSC結束了想換組

匿名用户 发表于 2023-02-26 13:14:49
saber主要是解决ads provider需要的aggregation数据的问题。
scuba同样可以很快的生成aggregation数据然后由account manager发给用户。

感谢感谢🙏如此详细的回复！受教了🙏