人类学店面面经

7月面的，考的爬虫那道题，follow up是多线程，Beautiful Soup不是真正意义上多线程，需要aiohttp改进下。之前其实跑过了，但是面试时候忘写了个await关键字就挂了。。。from typing import Self
import requests
import asyncio
import time
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse

'''
def getLinksFrom(link: str) -> list[str]:
  try:
    resp = requests.get(link, timeout=5)
    resp.raise_for_status()
  except requests.RequestException as e:
    print(f"Error fetching {link}:{e}")
    return []

  soup = BeautifulSoup(resp.text, "html.parser")
  links = []
  for a in soup.find_all("a", href=True):
    abs_url = urljoin(link, a["href"])
    links.append(abs_url)
  return links

class Solution:
  def __init__(self, max_concurrency=10):
    self.visited = set()
    self.semaphore = asyncio.Semaphore(max_concurrency)
    self.start_hostname = None

  def sanitize(self, url):
    idx = url.find('#')
    if idx > 0:
      url = url[:idx]
    return url

  def get_hostname(self, url):
    return urlparse(url).hostname

  async def dfs(self, url):
    url = self.sanitize(url)
    if url in self.visited or self.get_hostname(url

您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 188 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

    url = self.sanitize(url)
        if url in self.visited or self.get_hostname(url) != self.start_hostname:
            return
        self.visited.add(url)
        links = await self.get_links_from(url)
        # Crawl links concurrently
        await asyncio.gather(*(self.dfs(link) for link in links))

def main():
    start_url = ""
    crawler = AsyncCrawler()
    result = asyncio.run(crawler.crawl(start_url))
    print(f"\nCrawled {len(result)} URLs:\n")
    for url in sorted(result):
        print(url)

if __name__ == "__main__":
    main()

请问一下，threading还是async是自己可以随便选吗，还是面试官明确要求要用async？

同好奇 不让用future吗

匿名用户 发表于 2025-09-17 14:04:44
请问一下，threading还是async是自己可以随便选吗，还是面试官明确要求要用async？

面试官没说，自己drive的

CSholic 发表于 2025-09-17 15:38:45
面试官没说，自己drive的

原来如此。beautifulsoap也是自己选的？ 还以为他们会提供返回一个网页上url的接口

匿名用户 发表于 2025-09-17 17:14:22
原来如此。beautifulsoap也是自己选的？ 还以为他们会提供返回一个网页上url的接口

这个是他们给的，不过follow up的时候会问哪还能改进，因为这个接口不是真正多线程，所以要用aiohttp

CSholic 发表于 2025-9-17 17:53
这个是他们给的，不过follow up的时候会问哪还能改进，因为这个接口不是真正多线程，所以要用aiohttp

所以楼主给的一堆function里
def getLinksFrom(link: str) -> list[str]:是他们给的，DFS是自己写的？

匿名用户 发表于 2025-9-21 15:36
所以楼主给的一堆function里
def getLinksFrom(link: str) -> list[str]:是他们给的，DFS是自己写的？

同问