Yelp 的搜索设计

Yelp里location、comments的增加应该远远小于搜索。所以应该定位是读频繁的分布式系统。

据查，该公司的tech stack是LAMP和ELK。

加减用户和商家的讯息当然非关系型数据库莫属。

MYSQL可以做基于LONGITUDE和LATITUDE的distance search，可以按照Quad Region来shard。当然Quad Region应该均匀（非连续）分布在多个DB cluster里，不过感觉城市的变迁不太容易控制，极容易就会造成shard的分布变得极其不均匀。

所以我认为更好的方法可能是把Quad Region放到NoSQL里。Cassandra、Mongo或者HBase一类。按照Region的GeoHash ID字符串翻转作为KEY。wx5ew9ue 变成 eu9we5xw。每个Region里面放入所有的商家（包括其tags）。

QuadTree的大小也会有变化。农村或者野外可能很大，都市会分的很小很细。大都市的繁华地带会分的尤其细致。尤其是有的摩天大楼里面商家很多就更会要求region的分布不是大小均匀的。

QuadTree可能需要记录特殊情况，比如特殊的EDGES的关系，这样一条大河隔开两岸，或者山上山下，或者国境线，或者岛屿内陆，YELP的推荐可能会有变化。

地点的search应该通过quadtree查找相邻的region，得到region里的符合tag的所有企业后，和从MYSQL前的cache里得到的其它信息整合后送给用户。




用户的点赞和comments可以异步进入关系型数据库。

同时title，description，和comments可以加入搜索引擎比如ElasticSearch。文字的搜索前做些words的处理。

到底是用geohash还是quadtree? 看到不同版本用的不同。
如果yelp数据同时写入ELK的话，ElasticSearch本身就用geohash。

"加减用户和商家的讯息当然非关系型数据库莫属。"
你是说 “加减用户和商家的讯息当然非   关系型数据库 莫属。” 还是 “加减用户和商家的讯息当然   非关系型数据库 莫属。”？？？

我想你是说NoSQL？

chenld 发表于 2019-7-15 12:18
可以详细的解释一下吗? 我看懂了每个字,但是真的看不懂意思啊

主要是希望便于sharding。如果key的头几个字符过于单一化，那么sharding的时候就会出现负责单一化的key的server压力过大。

用户的点赞和comments可以异步进入关系型数据库。

为什么点赞跟comments要放入关系型数据库而不是放NoSQL?
想引申另外个问题，像youtube这种like跟view数目更新频繁的，放在RDBMS合适吗？

tank_z 发表于 2019-4-1 06:42
为什么点赞跟comments要放入关系型数据库而不是放NoSQL?
想引申另外个问题，像youtube这种like跟view数 ...

主要是觉得量不大，还有moderation的问题。
如果每个comment的who when都放入关系型数据库，假设comment不是太多的话，写入RDBMS还是可行的。
赞的次数归并与一个int就可以了。
comment需要写成一条记录。有删除的问题。比如用户贴广告的。阿拉伯女遗孀重金求子，请电。。。

如有不同思路还望展开说说。

赞！

"按照Region的GeoHash ID字符串翻转作为KEY"----------可以解释一下为何要翻转吗

chenld 发表于 2019-7-15 10:26
"按照Region的GeoHash ID字符串翻转作为KEY"----------可以解释一下为何要翻转吗

目的是为了key的多样性。不至于集中。

14417335 发表于 2019-7-16 01:04
目的是为了key的多样性。不至于集中。

可以详细的解释一下吗? 我看懂了每个字,但是真的看不懂意思啊

jackxpeng 发表于 2019-9-27 05:46
"加减用户和商家的讯息当然非关系型数据库莫属。"
你是说 “加减用户和商家的讯息当然非   关系型数据库  ...

按照中文来讲难道一般不应该是 "非你莫属" 吗
额....难道是 "非你 莫属"？
2333333

而且distance search也应该是rdb