不知道你是用框架还是用 Selenium 爬的内容， iframe 里的内容实际上就是另一个网页了你只是爬它的源码是爬不到的， 你要提取 iframe 里的 src 所指向的网址， 重新打开它， 然后才爬他的源码 或者如果你用框架；看你爬什么咯如果是网页，那就是页面代码如果是制定内容，那爬取的时候就给定匹配的关键字，返回你指定的数据字串，list，json都可以。
Python 中可以进行网页解析的库有很多，常见的有 BeautifulSoup 和 lxml 等在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个库，我平常也是常用这个库，最近用 Xpath 用得比较多，使用 BeautifulSoup 就不大习惯，很久之前；所谓爬虫，就是先获取网页的源代码，然后从源代码中筛选出自己想要的资源，比如网页上的图片视频等文件，甚至网页上的文字接下来，我们就用Python来爬取网页上的图片首先我们先获取网站的源码然后就是从万千的源码中。
使用python查看网页源代码的方法1使用“import”命令导入requests包 import requests 2使用该包的get方法，将要查看的网页链接传递进去，结果赋给变量x x = requestsgeturl=#39#393用“；执行js代码 在python中执行异步加载的js代码，获得一些诸如鼠标滑过，下拉加载更多等，但是现在的网站中都有非常多的js代码，要找到需要执行的目标js代码时非常困难和耗时的，此外python对js的兼容性也不是很好，也不推荐使用。
1首先，打开散标数据，如下，爬取的信息主要包括年利率借款标题期限金额和进度这5个字段信息右键对应元素进行检查，可以看出所有的数据嵌套在div标签中，如下打开网页源码，我们按Ctrl+F查找对应的数据，会发现所查。
python爬取网页源码不完整
1、我只看见了ID号，没有看见ID内容啊，在哪里提取ID号的话，正则是ID\d+\d+。
2、我用re把json的部分截取出来了，也用jsonloads解析成了字典，现在的问题是里面需要的信息那部分是有一些是unicode 编码的，求解quotpageNamequotquotmainsrpquot，quotmodsquotquotshopcombotipquotquotstatusquotquothidequot，quotexportquot。
3、打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下2获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包解析。
4、使用AJAX加载的数据，即使使用了JS将数据渲染到了浏览器中，在 右键查看网页源代码 还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码法1直接分析ajax调用的接口然后通过代码请求这个接口法2。
Python爬取网页源码不全
方法步骤 在做爬取数据之前，你需要下载安装两个东西，一个是urllib，另外一个是pythondocx请点击输入图片描述 然后在python的编辑器中输入import选项，提供这两个库的服务 请点击输入图片描述 urllib主要负责抓取网页的数据。
只会获取HTML静态文本部分根据查询python官网得知，Python爬虫获取页面源代码时，只会获取HTML静态文本部分，不会执行JavaScript代码，所以在源代码中看不到img标签Python是一个高层次的结合了解释性编译性互动性和面向。
入门的话，我的经历1先用python写一个爬取网页源代码的爬虫最先是爬取个人博客，会遇到乱码问题当时困扰了很久2后来写了爬取百度图片的程序，自动下载小说我爱看小说_接触正则表达式3然后百度图片他。
selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpathquotxxxquot，通过该方式查找到元素后可执行点击输入等事件，进而向服务器发出请求，获取所需的数据python view plain。
python爬虫源代码没有但检查可以通过5个步骤进行解决1提取列车Code和No信息2找到url规律，根据Code和No变化实现多个网页数据爬取3使用PhantomJS模拟浏览器爬取源代码4用bs4解析源代码，获取所需的途径站数据。
