整个网页代码啥样的代码中只出现两个div那就用css选择器，看下面。
由于方法1有问题，只能获取到下载页面链接，所以换用Re解决，代码如下import；如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间另外如果页面上有iframe的话需要先切换进去才能找到里面的对象；使用drivertitle就可以获取了和这个类似的有一个属性叫做current_url获取的是地址栏的url地址学自动化测试的话，我推荐传智播客，薪资现在已经突破13了对于刚毕业的我来说，还是很满意的；网页爬取不一定要用Selenium，Selenium是为了注入浏览器获取点击行为的调试工具，如果网页无需人工交互就可以抓取，不建议你使用selenium要使用它，你需要安装一个工具软件，使用Chrome浏览器需要下载chromedriverexe到system32下。
办法获取页面上所有元素属性包含quothrefquot的元素，可以用getAttribute“href”方法，然后做个循环依次点击Selenium是一个用于Web应用程序测试的工具Selenium测试直接运行在浏览器中，就像真正的用户在操作一样支持的浏览器；用selenium 或者前台实现也行或者用个gui，在里面展示html页面然后捕获；作为在传智刚刚学完这测试段课程的人，来给你简单描述一下，我用的是webdriver，如果你的目标是点击一个超链接，就需要通过以下步骤来进行1首先你要先获取到这个超链接元素标签的属性信息id，name，位置，或者超链接文本2。
法1直接分析ajax调用的接口然后通过代码请求这个接口法2使用Selenium+chromedriver模拟浏览器行为获取数据Selenium 相当于是一个机器人可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击；1可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到2使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据；1获取当前网页标题String#160title=drivergetTitle2获取当前网页的URLString url=drivergetCurrentUrl3获取元素的文本值，比如链接，纯文本等String text=driverfindElementBy locationgetText4；如果跳转是在当前窗口跳转，直接通过driver的相关方法获取就可以如果跳转时打开了新窗口，需要先进行窗口切换，然后再获取内容。
selenium webdriver的硬伤在于它无法真正判断页面上的元素什么时候能生成完毕，换句话说 ，假如获取页面上的元素失败，而这个元素是由js，ajax生成并且是未知的情况下例如要抓取网页关键词，但是关键词的内容是什么，一共有；因此，我们如果使用 AJAX 加载的动态网页，怎么爬取里面动态加载的内容呢有两种方法方法1操作步骤步骤selenium选择元素的方法有很多有时候，我们需要查找多个元素在上述例子中，我们就查找了所有的评论因此，也有；使用xpath=selectoption定位获取到一个元素集合，然后再取这个集合的个数就是option的个数。
