内容页面通常都是分页的，一次抓取不了太多，这个库可以获取分页信息结果如下通过迭代器实现了智能发现分页，这个迭代器里面会用一个叫 _next 的方法，贴一段源码感受下通过查找 a 标签里面是否含有指定的文本来；当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。
在本次爬虫中使用到的相关库 分析一下网页的规律 发现了规律每个章节的页面都有自己的URL后缀加以区分看下网页源码找出URL地址上面已经发现了每个章节的URL地址的后缀 正则写的不太好，地址还需要切片一次 首页源码返回；selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好。
界面上能看到吗，能看到就不是hidden通常爬虫的一大困难是html是由js渲染，并不是简单的发请求就可以获得肉眼看到的内容解决方法用selenium等模拟用户操作；没有不能查看源代码的网页，点一下F12或者1抓包，找到真正的url，模拟post或get2用selenium+phantomjs 或firefox 或chrome。
简而言之，爬虫首先需要获得终端服务器的网页，从那里获得网页的源代码，若是源代码中有有用的信息，就在源代码中提取任务所需的信息然后ip就会将获得的有用信息送回客户端存储，然后再返回，反复频繁访问网页获取信息；看你爬什么咯如果是网页，那就是页面代码如果是制定内容，那爬取的时候就给定匹配的关键字，返回你指定的数据字串，list，json都可以。
爬虫获取网页源代码
1、1抓取网页，模拟登陆等背后的通用的逻辑和原理2以提取songtaste网页中标题为例，详解如何抓取网站并提取网页内容3以模拟登陆百度为例，详解如何模拟登陆网站4以抓取网易博客帖子中的最近读者信息为例，详解如何。
2、懿漫刚开始抓数据的时候，会遇到在右键查看网页源码view page source中找不到的网页中加载的数据，很苦恼啊 然后学会了如何使用Chrome的network来找到这些信息 3查找步骤4目标数据的链接。
3、1首先，打开原网页，如下，这里假设要爬取的字段包括昵称内容好笑数和评论数接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中2然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出。
如何爬取网页上的数据
入门的话，我的经历1先用python写一个爬取网页源代码的爬虫最先是爬取个人博客，会遇到乱码问题当时困扰了很久2后来写了爬取百度图片的程序，自动下载小说我爱看小说_接触正则表达式3然后百度图片他。
另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame。
其次，不会用 Requests 就去看文档，不要乱来如果 Requests 检测不到正确的编码，那么你告诉它正确的是什么responseencoding = #39gbk#39print responsetext 原始内容在 responsecontent 里，bytes，自己想怎么处理就怎么。
我只看见了ID号，没有看见ID内容啊，在哪里提取ID号的话，正则是ID\d+\d+。
