一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 102469|回复: 56
收起左侧

[DataScience] 手把手教你用python抓网页数据

    [复制链接] |试试Instant~ |关注本帖
EroicaCMCS 发表于 2014-2-14 01:55:13 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
本帖最后由 EroicaCMCS 于 2014-2-16 20:29 编辑

前言:
数据科学越来越火了,网页是数据很大的一个来源。最近很多人问怎么抓网页数据,据我所知,常见的编程语言(C++,java,python)都可以实现抓网页数据,甚至很多统计\计算的语言(R,Matlab)都有可以实现和网站交互的包。本人试过用java,python,R抓网页,感觉语法各有差异,逻辑上是一样的。我准备用python来大概讲讲抓网页是什么概念,具体的内容要自己看手册或者google别人的博客,这里算是抛砖引玉了。水平有限,出现错误或者有更好的办法,欢迎讨论。

步骤一:熟悉Python的基本语法。
已经熟悉Python的直接跳到步骤二。. more info on 1point3acres.com
Python是门比较容易入门的编程语言,如何上手视编程基础而定。
(1) 如果有一定编程的基础,建议看google's python class,链接https://developers.google.com/edu/python/?hl=zh-CN&csw=1
这个是一个为期两天的短期培训课程(当然,是两个全天),大概是七个视频,每个视频之后给编程作业,每个作业一个小时之内可以完成。这是我学习python的第二门课(第一门是codecademy的python,很早之前看的,很多内容都记不得了),当时每天看视频+编程作业一个多小时,六天弄完,效果还不错,用python写基本的程序没有问题。
(2) 如果是没有任何编程基础,建议看coursera上Rice University开的An Introduction to Interactive Programming in Python。这门课我没有跟过,但是看coursetalk的评论反映非常好,地里也有同学评论(点这里),课程链接:https://www.coursera.org/course/interactivepython。Udacity上的CS101也是不错的选择,地里有相关的讨论帖(点这里),而且这门课就叫做build a search engine,会专门讲一些和网络相关的module。其他学习资源还有code school和codecademy,这些资源也是挺不错的,但是编程量太少,初学者还是系统的跟课、多练练手来打好基础吧。
当然,每个人的偏好不同,我推荐的不一定适合你。可以先看看这个帖子【长期加分贴】介绍你上过的公开课里面其他人是怎么说的,或者上coursetalk.org看看课程评论,再决定吧。

. 鍥磋鎴戜滑@1point 3 acres
步骤二:学会如何与网站建立链接,得到网页数据。
写脚本与网站进行交互,要熟悉python和网页相关的几个module(urllib,urllib2,httplib)中的一个,知道一个即可,其他的都类似的。这三个是python提供的和网页交互的基本module,还有其他的一些,比如:mechanize和scrappy,我没有用过,可能有更好的性能,欢迎了解的来补充。基本的网页抓取,前面的三个module足矣。
下面的代码演示如何用urllib2与google scholar进行交互,获得网页信息。
  1. # 导入模块 urllib2
  2. import urllib2.鏈枃鍘熷垱鑷1point3acres璁哄潧

  3. # 随便查询一篇文章,比如On random graph。对每一个查询google
  4. # scholar都有一个url,这个url形成的规则是要自己分析的。. 1point3acres.com/bbs
  5. query = 'On+random+graph'
  6. url = 'http://scholar.google.com/scholar?hl=en&q=' + query + '&btnG=&as_sdt=1%2C5&as_sdtp='
  7. # 设置头文件。抓取有些的网页不需要专门设置头文件,但是这里如果不设置的话,
  8. # google会认为是机器人不允许访问。另外访问有些网站还有设置Cookie,这个会相对复杂一些,.鐣欏璁哄潧-涓浜-涓夊垎鍦
  9. # 这里暂时不提。关于怎么知道头文件该怎么写,一些插件可以看到你用的浏览器和网站交互的
  10. # 头文件(这种工具很多浏览器是自带的),我用的是firefox的firebug插件。
  11. header = {'Host': 'scholar.google.com',
  12. 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0',
  13. 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
  14. 'Accept-Encoding': 'gzip, deflate',
  15. 'Connection': 'keep-alive'}
  16. # 建立连接请求,这时google的服务器返回页面信息给con这个变量,con是一个对象.1point3acres缃
  17. req = urllib2.Request(url, headers = header)
  18. con = urllib2.urlopen( req )
  19. # 对con这个对象调用read()方法,返回的是html页面,也就是有html标签的纯文本
  20. doc = con.read()
  21. # 关闭连接。就像读完文件要关闭文件一样,如果不关闭有时可以、但有时会有问题,
  22. # 所以作为一个守法的好公民,还是关闭连接好了。. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
  23. con.close()
复制代码
以上的代码就把在google scholar上查询On Random Graph的结果返回到doc这个变量中了,这个和你打开google scholar搜索On Random Graph,然后将网页右键保存的效果是一样的。

步骤三、解析网页
上面的步骤得到了网页的信息,但是包括了html标签,你要把这些标签去掉,然后从html文本中整理出有用的信息,. From 1point 3acres bbs
你需要解析这个网页。. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴
解析网页的方法:
(1) 正则表达式。正则表达式很有用,熟悉它节省很多的时间,有时候清洗数据不用写脚本或者在数据库上查询,直接在notepad++上用正则表达式组合使用就行了。如何学习正则表达式建议看:正则表达式30分钟入门教程,链接:http://deerchao.net/tutorials/regex/regex.htm. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴
(2) BeautifulSoup模块。BeautifulSoup是一个很强大的模块,能把html文件解析成一个对象,这个对象是一棵树。我们都知道html文件是树状的,比如 body -> table -> tbody -> tr,对于tbody这个节点,有很多个tr的子节点。BeautifulSoup可以很方便的取到特定的节点,对单个节点也可以取它的sibling node。网上有很多相关的说明,这里不细说,只演示简单的代码:. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
(3) 上面两种方法结合使用。
  1. # 导入BeautifulSoup模块和re模块,re是python中正则表达式的模块
  2. import BeautifulSoup
  3. import re
  4. # 生成一个soup对象,doc就是步骤二中提到的-google 1point3acres
  5. soup = BeautifulSoup.BeautifulSoup(doc)
  6. # 抓取论文标题,作者,简短描述,引用次数,版本数,引用它的文章列表的超链接
  7. # 这里还用了一些正则表达式,不熟悉的先无知它好了。至于'class' : 'gs_rt'中
  8. # 'gs_rt'是怎么来的,这个是分析html文件肉眼看出来的。上面提到的firebug插件-google 1point3acres
  9. # 让这个变的很简单,只要一点网页,就可以知道对应的html 标签的位置和属性,
  10. # 相当好用。
  11. paper_name = soup.html.body.find('h3', {'class' : 'gs_rt'}).text.鐣欏璁哄潧-涓浜-涓夊垎鍦
  12. paper_name = re.sub(r'\[.*\]', '', paper_name) # eliminate '[]' tags like '[PDF]'
  13. paper_author = soup.html.body.find('div', {'class' : 'gs_a'}).text
  14. paper_desc = soup.html.body.find('div', {'class' : 'gs_rs'}).text
  15. temp_str = soup.html.body.find('div', {'class' : 'gs_fl'}).text
  16. temp_re = re.match(r'[A-Za-z\s]+(\d*)[A-Za-z\s]+(\d*)', temp_str)
  17. citeTimes = temp_re.group(1)
  18. versionNum = temp_re.group(2)
  19. if citeTimes == '':
  20.   citeTimes = '0'
  21. if versionNum == '': 鏉ユ簮涓浜.涓夊垎鍦拌鍧.
  22.   versionNum = '0'. from: 1point3acres.com/bbs
  23. citedPaper_href = soup.html.body.find('div', {'class' : 'gs_fl'}).a.attrs[0][1]
复制代码

这些都是我在一个分析citation network的项目的代码。顺便一提,我从google scholar上抓取paper的信息以及引用列表的信息,访问了大概1900次左右的时候给google block了,导致这个片区的ip一时无法登陆google scholar。. more info on 1point3acres.com

步骤四:存取数据
好不容易抓了数据,现在只是存储在内存中,必须保存起来才能利用。
(1) 最简单的方法之把数据写进txt文件中,Python中可以用如下代码实现:

  1. # 打开文件webdata.txt,生成对象file,这个文件可以是不存在的,参数a表示往里面添加。
  2. # 还有别的参数,比如'r'只能读但不能写入,'w'可以写入但是会删除原来的记录等等
  3. file = open('webdata.txt','a'). more info on 1point3acres.com
  4. line = paper_name + '#' + paper_author + '#' + paper_desc + '#' + citeTimes + '\n'
  5. # 对象file的write方法将字符串line写入file中
  6. file = file.write(line)
  7. # 再一次的,做个随手关闭文件的好青年
  8. file.close()
复制代码
这样,就把从网页上抓到并且解析了的数据存储到本地了,是不是很简单?
(2) 当然,你也可以不写入txt文件中,而是直接连接数据库,python中的MySQLdb模块可以实现和MySQL数据库的交互,把数据直接倒到数据库里面,与MySQL数据库建立链接的逻辑和与网站服务器建立链接的逻辑差不多。如果之前有学习过数据库,学习用MySQLdb模块实现和数据库的交互是很简单的;如果没有,则要借助在coursera\stanford openEdX平台上都有开设的Introduction to Database来系统学习,w3school用来参考或者当成手册。
Python能够链接数据库的前提是数据库是开着的,我用的是 win7 + MySQL5.5,数据库在本地。
  1. %可以用cmd开启数据库,启动命令是:
  2. net start mysql55
  3. %关闭命令是:
  4. net stop mysql55
复制代码
使用MySQLdb模块代码示例:
  1. # 导入 MySQLdb模块
  2. import MySQLdb
  3. # 和服务器建立链接,host是服务器ip,我的MySQL数据库搭建在本机,默认的是127.0.0.1,
  4. # 用户、密码、数据库名称对应着照输就行了,默认的端口号是3306,charset是编码方式,
  5. # 默认的是utf8(也有可能是gbk,看安装的版本)。
  6. conn = MySQLdb.connect(host='127.0.0.1', user='root', passwd='yourPassword', db='dbname', port=3306, charset='utf8')
  7. # 建立cursor
  8. cur = conn.cursor()
  9. # 通过对象cur的execute()方法执行SQL语句. From 1point 3acres bbs
  10. cur.execute("select * from citeRelation where paperName = 'On Random Graph'"). 1point3acres.com/bbs
  11. # fetchall()方法获得查询结果,返回的是一个list,可以直接这样查询:list[i][j],
  12. # i表示查询结果中的第i+1条record,j表示这条记录的第j+1个attribute(别忘了python从0开始计数)
  13. list = cur.fetchall()
  14. # 也可以进行delete,drop,insert,update等操作,比如:
  15. sql = "update studentCourseRecord set fail = 1 where studentID = '%s' and semesterID = '%s' and courseID = '%s'" %(studentID,course[0],course[1])
    . From 1point 3acres bbs
  16. cur.execute(sql)
  17. # 与查询不同的是,执行完delete,insert,update这些语句后必须执行下面的命令才能成功更新数据库
  18. conn.commit()-google 1point3acres
  19. # 一如既往的,用完了之后记得关闭cursor,然后关闭链接
  20. cur.close()
  21. conn.close()
复制代码

这样就实现了Python和数据库之间的交互。除了MySQL数据库外,python的PyGreSQL模块可以支持postgreSQL数据库,道理类似的。还有,如果你的网页里面包含了中文,设置编码格式会非常的麻烦,需要服务器、Python、数据库和数据库界面采用相同的编码格式才能不出现乱码,如果真的出现了中文乱码的问题,请相信,你不是一个人!!去google一下吧,成千上万的人碰到过这种问题。
关于编码的问题,附一篇我看到的博文<python编码问题总结>:
http://www.xprogrammer.com/1258.html

后记:
上面介绍了抓取网页数据的方法,抓取数据只是一小步,如何分析数据就是大学问了,欢迎讨论。
上面有什么地方讲不清楚的,欢迎交流。

特别注意:
大规模抓取网站会给网站的服务器带来很大的压力,尽量选择服务器相对轻松的时段(比如凌晨)。网站很多,不要拿一亩三分地来做试验。
Python的time模块的sleep()方法可以让程序暂停一段时间,比如time.sleep(1)让程序运行到这里的时候暂停1秒。适时地暂停可以缓解服务器的压力,也可以保护自己的硬盘,正好码久了睡个觉,或者去趟gym,结果就出来了。


更新:
2014年2月15日,更改了几处打字错误;添加了相关课程链接;增加了udacity CS101的介绍;增加了MySQLdb模块的介绍。
2014年2月16日,增加了介绍编码方式的博文链接。.鐣欏璁哄潧-涓浜-涓夊垎鍦


. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴



. from: 1point3acres.com/bbs

评分

26

查看全部评分

本帖被以下淘专辑推荐:

nibuxing 发表于 2014-2-14 02:52:33 | 显示全部楼层
给力。
基本很详细了,抓抓普通的网页已经够用。. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
打算过段时间也写个抓网页的贴子,到时候问问你哈。
回复 支持 反对

使用道具 举报

KikSamuel 发表于 2014-2-14 04:02:31 | 显示全部楼层
能抓下来直接存到本地数据库么?
回复 支持 反对

使用道具 举报

小K 发表于 2014-2-14 04:13:26 | 显示全部楼层
赞!. From 1point 3acres bbs
再加个API 的和SQL的?
回复 支持 反对

使用道具 举报

rsun 发表于 2014-2-14 08:07:43 | 显示全部楼层
好久没见你了,还以为你休假了呢。
细致的介绍,下次仔细看
回复 支持 反对

使用道具 举报

 楼主| EroicaCMCS 发表于 2014-2-15 01:30:07 | 显示全部楼层

确实是回家“休假”了,其实我更情愿呆在学校“工作”. 鐗涗汉浜戦泦,涓浜╀笁鍒嗗湴
回家过年了就是时间各种零碎不好用
参加个ICM导致公开课落下一堆due。。。
回复 支持 反对

使用道具 举报

KikSamuel 发表于 2014-2-15 02:12:52 | 显示全部楼层
太谢谢啦!刚好需要从网页上抓数据最近!
回复 支持 反对

使用道具 举报

小K 发表于 2014-2-15 02:16:22 | 显示全部楼层
i mean access some APIs (make GET and POST requests etc)
e.g. scrape your weibo, twitter, douban data through API

between Py and R there's R2py or sth, but frankly I never got them to work seamlessly together
for ipynb there's sth that can make R results show up but always with an annoying blank
这个问题如果能解决的话就更好了,感觉ipynb works more intuitively than knitr or rmd for reproducible research
回复 支持 反对

使用道具 举报

duanmupeiyi 发表于 2014-2-15 03:12:53 | 显示全部楼层
好赞!
.1point3acres缃
以前class project用过weibo的API-google 1point3acres
.1point3acres缃
从google scholar抓数据慎重。。。我就被禁过 T_T

回复 支持 反对

使用道具 举报

vicholas 发表于 2014-2-17 11:19:52 | 显示全部楼层
做好准备!!!
回复 支持 反对

使用道具 举报

wesley 发表于 2014-2-18 00:03:21 | 显示全部楼层
必须要顶
回复 支持 反对

使用道具 举报

bonnie1024 发表于 2014-2-20 11:58:28 | 显示全部楼层
好贴啊,刚好近期要用,楼主V5
回复 支持 反对

使用道具 举报

xingzhui222 发表于 2014-3-1 07:22:43 | 显示全部楼层
楼主有定时爬网页的经验么。。
如果要每天定时哪个时间跑下程序然后抓的数据放到一个file里。虽然我知道linux命令行,但是如果要定时每小时都跑一次,然后跑3个月,感觉自己笔记本一直开着不太现实呀。。有没有啥软件可以用啥的就是不用自己笔记本跑。。。付费也可以哇。
回复 支持 反对

使用道具 举报

 楼主| EroicaCMCS 发表于 2014-3-6 16:27:53 | 显示全部楼层
本帖最后由 EroicaCMCS 于 2014-3-6 16:33 编辑
xingzhui222 发表于 2014-3-1 07:22
楼主有定时爬网页的经验么。。
如果要每天定时哪个时间跑下程序然后抓的数据放到一个file里。虽然我知道li ...

没有这方面的经验。。。
肯定不能用笔记本啦,可以试一下免费的云平台,比如:sina app engine, google app engine
回复 支持 反对

使用道具 举报

kaito666k 发表于 2014-3-6 19:13:43 | 显示全部楼层
FYI urllib is not thread safe.
回复 支持 反对

使用道具 举报

ysyyork 发表于 2014-3-6 19:15:38 | 显示全部楼层
本帖最后由 ysyyork 于 2014-3-6 19:18 编辑

抓网页抓了几个月。发现有的网站老变html代码格式。真是烦。。。. more info on 1point3acres.com
话说有个爬虫框架很好用介绍给大家Scrapy,虽然灵活性还是自己写的强,但是他的模板足以完成基本的爬取任务。有兴趣可以看看这个:http://www.cnblogs.com/txw1958/a ... crapy-tutorial.html.1point3acres缃
对于自动屏蔽ip的问题,你可以不要连着抓取,每次抓取完了用sleep函数睡眠一个random时间再抓,这样模拟浏览器访问,不容易被屏蔽。我之前爬豆瓣,连着怕60次就gg了,后来用sleep爬到150多次都没问题。再多应该也没问题,我没试过

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

para 发表于 2014-3-14 20:44:15 | 显示全部楼层
写得很好~刚好用得上~超级感谢~
回复 支持 反对

使用道具 举报

jhguo 发表于 2014-3-16 15:24:53 | 显示全部楼层
特别的,好赞!
回复 支持 反对

使用道具 举报

fontainebleu 发表于 2014-4-29 17:46:02 | 显示全部楼层
我在网上看了一个VBA的课程,目前才开始觉得很不错。应该学完VBA是可以试试这个程序的吧。打基础的过程开始了,纯文科背景的没有办法啊
回复 支持 反对

使用道具 举报

charlesdickens 发表于 2014-6-24 17:45:54 | 显示全部楼层
写的很好。简明扼要。Mining the Social Web不错
回复 支持 反对

使用道具 举报

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-7 20:41

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表