1.首先要明确我们想要爬取的目标。对于网页源信息的爬取我们首先要获取url,然后定位我们的目标内容。具体如图所示。2.我们先使用基础for循环生成我们的url信好了吧！找到链接，获得Web页面，抓取指定信息，存储。这个过程有可能会往复循环，甚至是滚雪球。你希望用自动化的方式来完成它。了解了这一点，你就不要老盯着爬虫不放了。爬虫研制出来，其实等我继续说。

安装相关的库文件，会遇到反爬取。就是说不能一直爬取。代码经过多次运行以后就会触动该网站的反爬取。现在python3.X以后urllib2和urllib合并了所以导入的时候用import urllib.request 有什么好了吧！在python 3.6版本及以上，引入了一个新的库：requests_html 。说实话，这个库是真的方便使用，它可以将爬虫变得很简单，话不多说，直接上手。我们想要爬取下面这个网站的代码部分： https:小发猫。

1、访问提供的网站，并提取script中的url地址。这是w3school的请求模块案例：https://小猫w3school小猫.cn/python/python_module_requests.asp 现在要做的是把script中的url地址给提小发猫。利用python爬取网页上特定的内容 import urllib #python中用于获取网站的模块 import urllib2, cookielib有些网站访问时需要cookie的，python处理cookie代码如下：cj = c等会说。

Python中有关网页操作的标准库有很多这次使用三个流行的bs4库、requests_html库和lxml库的方法，在你需要在自己的程序中插入指定网页的指定容器的内容时，可以插等会说。如果我们所指定的内容在这段语句中我们就把这段内容爬取下来，反之就丢弃实列代码如下：(以我们学校为例) importurllib.requestfromlxmlimportetreedefcreat_ur说完了。