Databricks Onsite前两轮

herainman 发表于 2021-09-23 09:07:23
怎么能够在多线程的状况下控制爬maximum depth？

要么就是每层触发多线程 要么就是你把depth一起加在queue里

第三轮 revenue 地里有的
第四轮 behavioral

请问 fetch，parse， save这三个function是实现好了可以调用的还是需要自己实现？

yanzhufanchen 发表于 2021-9-25 19:20
请问 fetch，parse， save这三个function是实现好了可以调用的还是需要自己实现？

可以调用

请问lz后来有消息吗？

multithreading web crawler 这个？ https://code.dennyzhang.com/web-crawler-multithreaded

zengfh2006 发表于 2021-9-26 22:39
请问lz后来有消息吗？

应该明天会有个update

请问遇到已经crawl过的url可以直接跳过吗，比如如果url abc.xyz被扒过，但是是作为maximum depth被扒的，没有扒他的children。之后再遇到abc.xyz的时候，这次depth只有1所以还可以扒好几次他的children，也是直接跳过吗还是都得扒啊？ 谢谢！

z920631580 发表于 2021-9-27 00:03
请问遇到已经crawl过的url可以直接跳过吗，比如如果url abc.xyz被扒过，但是是作为maximum depth被扒的，没 ...

BFS呀，不用DFS

第一题是算system design?