Search infra

版上有没有做search infra的朋友？ 对比core infra比如compute, storage, 不晓得这个领域发展前景如何，以及oncall load是否比较重？

匿名用户 发表于 2023-11-03 17:53:47
我非狗家。但Google的search毫无疑问是业界顶尖的。不管你承认google search好不好用，但是人家scale + YoE摆在那。虽然狗家很多技术已经成熟了，但是可以学习， 带技术跳槽去

🐶家search来来回回加上换组的跳槽的估计十几万人了，十几万人都是你说的揣着🐶的技术就可以去你说的那些厂当专家吗？

这些东西数据feedback最重要，这是为啥劈柴拼命也要iOS default，一旦微软有30%的流量，feedback loop很快就起来了。真技术的部分作用太小，否则微软10个B把jeff和Sanjay请来总可以吧

而且search里一个做网页某方面的annotation的team就是一个L8的到L9的scope，能看到全局太难了。

所以search infra这个问题本身就是外行，是一个很宽的概念。Bigtable最早就是为了search infra

匿名用户 发表于 2023-11-03 20:03:24
谢谢，其实我想问的是generative AI大火后对于整个search，search infra，semantic search的影响。
你这里说的model training并不是search

ai infra可以想象成aws sagemaker。他只是一个generic service。要想optimized and customized for specific product，必须在中间再加一层大系统。

再比喻，aws s3 是个storage system，但是file，图片，视频，文字 怎么压缩，怎么储存，怎么快速读取，怎么缓存，都是要customized solution。

search有自己的一套ML架构，ads有自己的一套ML架构，feed也有自己一套ML架构。ai infra只负责搞他们能够共用的部件。

补充内容 (2023-11-04 14:13 +08:00):
LLM也需要一套自己的ML系统架构。LLM辅助search的model 做semi-supervised learning ，但是无法完全代替search的model。

补充内容 (2023-11-04 14:18 +08:00):
LLM无法support所有的topic，这显然无法scale，最终还是需要不同架构的model联合。要想一种model support所有的事，那需要的数据太多了，训练时间更是夸张，根本无法scale。

匿名用户 发表于 2023-11-3 10:15
我个人觉得现在search已经属于夕阳方向了，因为chatgpt之类的LLM很快就会取代传统search.

得看啥search。

content search, content search下面又有找文章，找视频，找图片，甚至找音乐等等。
object search， 比如找人，找餐厅，找具体景点等等。

而且楼主提的是infra，不是model。比如数据储存，其他系统部件等。LLM的model要想牛逼，背后也得有套牛逼的系统配套。没有infra支撑，根本无法train大型foundation model。比如OpenAI train个大型model 需要2个月，小公司train个大型model 半年。或者小公司砸钱train个大型model 2个月，但是用的机器电量跟数量是OpenAI的10倍。

我个人觉得现在search已经属于夕阳方向了，因为chatgpt之类的LLM很快就会取代传统search.

匿名用户 发表于 2023-11-03 10:15:43
我个人觉得现在search已经属于夕阳方向了，因为chatgpt之类的LLM很快就会取代传统search.

我说的就是结合LLM的semantic search, nlp这一套, 感觉LLM出来之后反而很火？

search的赛道一直都很满吧 最近llm出来之后 几乎所有中小厂都在搞一套自己的私有search
但很多都是直接用开源的模型做一个版本 以后自己再搞模型的感觉

oncall load挺重的

大厂可能有更多真正接触模型的机会，不在大厂，抛砖引玉问一下

匿名用户 发表于 2023-11-3 10:15
我个人觉得现在search已经属于夕阳方向了，因为chatgpt之类的LLM很快就会取代传统search.

How exactly?

匿名用户 发表于 2023-11-3 11:04
得看啥search。

content search, content search下面又有找文章，找视频，找图片，甚至找音乐等等。

学习了🙏
可以问下现在业内有哪些公司的search infra值得去吗？
中厂被组里逼的快疯了，好想跳槽走。。

匿名用户 发表于 2023-11-3 17:36
学习了🙏
可以问下现在业内有哪些公司的search infra值得去吗？
中厂被组里逼的快疯了，好想跳 ...

我非狗家。但Google的search毫无疑问是业界顶尖的。不管你承认google search好不好用，但是人家scale + YoE摆在那。虽然狗家很多技术已经成熟了，但是可以学习， 带技术跳槽去其他公司，比如微软的bing, apple的safari，yelp，meta的facebook/instagram，pinterest， linkedin等等。

匿名用户 发表于 2023-11-3 11:04
得看啥search。

content search, content search下面又有找文章，找视频，找图片，甚至找音乐等等。

谢谢，其实我想问的是generative AI大火后对于整个search，search infra，semantic search的影响。
你这里说的model training并不是search infra吧，而是AI infra
请大牛指点

亚麻的search org 被裁了，可想而知