Meta/FB infra 组

zn88358800 发表于 2021-11-21 01:05
还有很多 比如metastore spark chronos xstream etc

xstream是啥啊

hgon23 发表于 2021-11-21 00:14
搜一搜脸家几个小有名气的infra轮子（排名不分先后）：
- TAO
- shard manager

RocksDB之前在公司内部都完全不太了解，只知道是zippy的底层storage。

最近在研究blockchain，才知道主流的chain不是用rocksDB就是在migrate to rocksdb的路上。虽然也是基于levelDB，但据说已经魔改的不像话了。

另外FB也有给Linux Kernel提交patch的超级硬核组。最近是有一个PHD研究OS memory system的小伙伴告诉我，FB的某组在他们那个领域顶会发了个论文，说是在linux kernel贡献了一个提高OS memory allocation/utilization的patch（之类的，不太懂）。

感觉大厂这些做硬核系统的人就像是walking with Jesus，我这样的普通程序员只是法利赛人。

看到好几个帖子说在招人，不过同时又听说meta在搞第二轮裁员？

uGW78 发表于 2023-2-22 19:29
RocksDB之前在公司内部都完全不太了解，只知道是zippy的底层storage。

最近在研究blockchain，才知道 ...

之前弄RockDB的那几个人出去创业了。Rockset了解一下

RockDB基于LevelDB，主要是针对SSD做了优化：
1. Write path: multi-threaded log compaction with reduced write amplification
1. Read path: bloom-filter-based prefix scan
1. Avoid read-modify-write by implementing native support for merging records

也可以是product infra。
Core infra很多是提高performance，要求对底层，比如磁盘系统等等硬件有所了解。如果是distributed ，有做统计分析来提高性能的。如果是machine learning infra，则要对针对TPU啥的做优化。就像前面有帖子讨论过，这种core infra其实位置不多，很多中小厂可能连相应的位置都没有。