手把手教你用python抓网页数据

必须要顶

好贴啊，刚好近期要用，楼主V5

楼主有定时爬网页的经验么。。
如果要每天定时哪个时间跑下程序然后抓的数据放到一个file里。虽然我知道linux命令行，但是如果要定时每小时都跑一次，然后跑3个月，感觉自己笔记本一直开着不太现实呀。。有没有啥软件可以用啥的就是不用自己笔记本跑。。。付费也可以哇。

xingzhui222 发表于 2014-3-1 07:22
楼主有定时爬网页的经验么。。
如果要每天定时哪个时间跑下程序然后抓的数据放到一个file里。虽然我知道li ...

没有这方面的经验。。。
肯定不能用笔记本啦，可以试一下免费的云平台，比如：sina app engine, google app engine

FYI urllib is not thread safe.

抓网页抓了几个月。发现有的网站老变html代码格式。真是烦。。。
话说有个爬虫框架很好用介绍给大家Scrapy，虽然灵活性还是自己写的强，但是他的模板足以完成基本的爬取任务。有兴趣可以看看这个：http://www.cnblogs.com/txw1958/a ... crapy-tutorial.html
对于自动屏蔽ip的问题，你可以不要连着抓取，每次抓取完了用sleep函数睡眠一个random时间再抓，这样模拟浏览器访问，不容易被屏蔽。我之前爬豆瓣，连着怕60次就gg了，后来用sleep爬到150多次都没问题。再多应该也没问题，我没试过

写得很好～刚好用得上～超级感谢～

特别的，好赞！

我在网上看了一个VBA的课程，目前才开始觉得很不错。应该学完VBA是可以试试这个程序的吧。打基础的过程开始了，纯文科背景的没有办法啊

写的很好。简明扼要。Mining the Social Web不错