手把手教你用python抓网页数据

pijefreskue 发表于 2014-10-28 22:16
你好，我想问一下我用Python得到网页的源代码之后，如何能知道我想要的代码是什么呢？比如我知道我想下图片 ...

一般来说，网络上每一个东西都有一个URL(统一定位符)。不知道URL，可以用一些工具(比如: firebug)来找。

至于找到了然后不知道怎么获取，可以看这里:
https://docs.python.org/2/howto/urllib2.html

好棒！收藏一下

I don`t understand the usage of header. Does it tell the server who is crawling the webpage? Thanks

请问如果数据是动态的怎么办，动态数据在这里指的是网页中由Javascript动态生成的页面内容，即网页源文件中没有，在页面加载到浏览器后动态生成的。简而言之，数据在网页源码中是一个公式计算出来的怎么

楼主用过Python的scrapy吗？求指导啊

victorsterling 发表于 2015-5-6 14:56
楼主用过Python的scrapy吗？求指导啊

你需要用scrapy做什么 可以问我

parachutemd 发表于 2015-5-14 22:09
你需要用scrapy做什么 可以问我

网络爬虫从网上搞数据哈，暂时没啥问题了，等再有问题了，再过来请教大神哈

想请教一下楼主和各位大神们。第一，我是在mac上用，所以最后一步我把txt改成了doc，请问这样有用吗？第二，我运行完所有程序之后，idle上没有任何反应，也没发现哪有文件创立，请问我是需要等，还是我哪里做错了？谢谢！

楼主，你好~你写的帖子写的太赞了！可是我是一个小小白，还是遇到了问题 sigh...
就是头文件那里，怎么写header啊？就是我怎么也不知道应该怎样查看，怎样知道userAgent。
虽然过了很久，但是希望楼主能帮我解答一下。谢谢！

为何 soap， 不用XML 或JSON?