12
返回列表 发新帖
楼主: 神奇果子
跳转到指定楼层
上一主题 下一主题
收起左侧

[其他] 问一个网络爬虫的网址问题

🔗
DamienPooh 2016-7-9 00:13:16 | 只看该作者
全局:
粗看了一下,实际的东西在这里,是一个json,结构很清楚,后期应该很好分析
https://www.zagat.com/proxy/v1.4?vertical=46&orderby=relevance&sort=desc&page=4&city=1020&query=&key=abbc09b7c840c10937a4db331422c98b&mobile_only_content=false&limit=15&m=filter&a=place

city应该是你要找的城市的ID,你的帖子里写的是NY,那1020应该就代表NY
page是页数. Waral dи,
key可能跟浏览器session有关系,如果是的话,这个自己不好生成,最好是先访问一下你帖中的地址,从HTML里面把key提取出来,然后按上面的格式构造URL

评分

参与人数 1大米 +20 收起 理由
jacksterling + 20 感谢分享!

查看全部评分

回复

使用道具 举报

🔗
ITFree 2016-7-11 13:16:13 | 只看该作者
全局:
1楼@DamienPooh 已经讲得特别清晰了,每次访问1楼给的这个网址即可(改变此链接中的page=1,抱歉我没权限发链接):
. 1point 3acres 访问该链接返回的是个json字符串,假设是response,d = json.loads(response),  d['data']就是包含15个餐馆信息的数据。
补充:监控下数据包,查看点击链接后的第一个请求包,就能分析到上面这个链接
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表