Search infra

openseach / elasticsearch 这不干的有声有色的吗

哪个中厂有自己的search infra?

相对来说Compute和storage 是core infra里oncall比较重的组

icenows 发表于 2023-11-3 20:41
.google  и相对来说Compute和storage 是core infra里oncall比较重的组

那么search infra算core infra么？不算吧？但是search infra里也有不少storage

匿名用户 发表于 2023-11-03 17:53:47
我非狗家。但Google的search毫无疑问是业界顶尖的。不管你承认google search好不好用，但是人家scale + YoE摆在那。虽然狗家很多技术已经成熟了，但是可以学习， 带技术跳槽去

🐶家search来来回回加上换组的跳槽的估计十几万人了，十几万人都是你说的揣着🐶的技术就可以去你说的那些厂当专家吗？

这些东西数据feedback最重要，这是为啥劈柴拼命也要iOS default，一旦微软有30%的流量，feedback loop很快就起来了。真技术的部分作用太小，否则微软10个B把jeff和Sanjay请来总可以吧

而且search里一个做网页某方面的annotation的team就是一个L8的到L9的scope，能看到全局太难了。

所以search infra这个问题本身就是外行，是一个很宽的概念。Bigtable最早就是为了search infra

匿名用户 发表于 2023-11-03 21:05:55
那么search infra算core infra么？不算吧？但是search infra里也有不少storage

额我还真没接触过search infra，有storage并不代表是storage infra，也许算是一个大用户？
own db/storage的组还是很累的，用户多，容错低

我就是大厂里做search 的 不过是产品不是infra, infra 有专门的另一个小org 做。oncall load 肯定不小，平日要应对各种各样的需求，看你是不是够硬核了

感觉除了大厂都是elastic包皮解决方案

匿名用户 发表于 2023-11-03 20:03:24
谢谢，其实我想问的是generative AI大火后对于整个search，search infra，semantic search的影响。
你这里说的model training并不是search

ai infra可以想象成aws sagemaker。他只是一个generic service。要想optimized and customized for specific product，必须在中间再加一层大系统。

再比喻，aws s3 是个storage system，但是file，图片，视频，文字 怎么压缩，怎么储存，怎么快速读取，怎么缓存，都是要customized solution。

search有自己的一套ML架构，ads有自己的一套ML架构，feed也有自己一套ML架构。ai infra只负责搞他们能够共用的部件。

补充内容 (2023-11-04 14:13 +08:00):
LLM也需要一套自己的ML系统架构。LLM辅助search的model 做semi-supervised learning ，但是无法完全代替search的model。

补充内容 (2023-11-04 14:18 +08:00):
LLM无法support所有的topic，这显然无法scale，最终还是需要不同架构的model联合。要想一种model support所有的事，那需要的数据太多了，训练时间更是夸张，根本无法scale。