手把手教你用python抓网页数据

你好，看了你的文章学习了，能交个朋友么？

你好lz，我用了你的方法，但是为什么这个pdf文件没法抓下来呢？我用web browser都能打开和下载
谢谢你：）

1. import urllib2
   
2. 
   
3. 
   
4. def main():
   
5. 
   
6.         download_file("https://dl.sciencesocieties.org/publications/aj/pdfs/107/5/1701?search-result=1", "test")
   
7. 
   
8. 
   
9. def download_file(download_url, filename):
   
10. 
    
11.         header = {'Host': 'dl.sciencesocieties.org',
    
12. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:38.0) Gecko/20100101 Firefox/38.0',
    
13. 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
14. 'Accept-Encoding': 'gzip, deflate',
    
15. 'Connection': 'keep-alive'}
    
16. 
    
17.         req = urllib2.Request(download_url, headers = header) #request
    
18.         con = urllib2.urlopen( req ) #content
    
19.         file = open(filename +".pdf", 'w')
    
20.         file.write(con.read())
    
21.         file.close()
    
22.         print("Completed")
    
23. 
    
24. if __name__ == "__main__":
    
25.     main()

复制代码

parachutemd 发表于 2015-5-14 22:09
你需要用scrapy做什么 可以问我

您好，我想用scrapy从网上下载pdf文件，很多要从学校library转去下期刊，请问这个怎么弄呢？非常感谢

为什么不用专业的爬虫框架？比如Scrapy?

多谢。先从PYTHON开始学起

非常好的

关于scrapy的爬虫的介绍在这里，欢迎大家讨论哈。

手把手教你用python抓取网页数据II

赞！谢谢楼主！

先留着， 面试的时候用哈哈哈哈