用SAS抓取网页简易版

readman 发表于 2014-5-21 23:08
我不知道现在什么样, 他是个叫什么 冲浪模型的 反爬虫.
有个算法, 比如第一次是1秒间隔, 然后是3秒, 然 ...

这么高级。。
换us地址就没法破了er-agent可能还不行，可能会记录网卡

EroicaCMCS 发表于 2014-5-21 23:13
这么高级。。
换us地址就没法破了er-agent可能还不行，可能会记录网卡

- = 网卡是mac地址, 在七层模型第二层, 估计记录的是ip地址把...
我见过一个分布式爬虫才高级.....
是通过bt协议传播的. bt上不是有种子服务器么? 然后你们先下种子, 然后去得到对方节点的数据完整度,然后share数据.
那爬虫就是让你们过去下载种子数据的时候, 先访问一个页面, 然后你把结果传给另一个服务器. 就相当于一个去中心化的爬虫..完克记录ip什么的...

readman 发表于 2014-5-21 23:18
- = 网卡是mac地址, 在七层模型第二层, 估计记录的是ip地址把...
我见过一个分布式爬虫才高级.....
是 ...

上条回复网卡了结果出来结果语序是乱的。。。

我觉得是记录mac地址的。我试过换了很多ip包括用代理一样给禁。

EroicaCMCS 发表于 2014-5-21 23:24
上条回复网卡了结果出来结果语序是乱的。。。

我觉得是记录mac地址的。我试过换了很多ip包括用代理一 ...

mac 地址在本地通过路由的时候, 会用ARP找到你的路由表中mac对应的ip, 然后就是ip之间传播了...
你代理怎么用的? 我以前不知道算法的时候, 用自己的macbook air 满学校跑换ip. 就可以了

readman 发表于 2014-5-21 23:35
mac 地址在本地通过路由的时候, 会用ARP找到你的路由表中mac对应的ip, 然后就是ip之间传播了...
你代理 ...

你在学校是公网ip么，我在学校没有公网ip的，需要NAT。
表示全校满地跑也是禁，相当无语。

代理试过goagent, 也试过自己在校内服务器（squid搭的），还是不行。。。
过一段时间（一两天）就又可以了。。

高人啊 原来用SAS也是可以抓网页的信息的啊

這真的是太強了 完全不知道可以用 SAS 抓網頁資訊 謝謝分享!!!

看一看！！！！！thx

感谢分享

哇最近正好需要抓网页，原来SAS也行