Selenium+PhantomJS+Xpath抓取网页JS内容

之前抓一个爬虫代理网站，发现在port上做了点手脚，使用了JS去计算port的方式，比如<script>document.write((2773^seal)+837);</script>。就这样一个改动搞得我费劲心思，用最笨的方法虽然能实现，但太繁琐，代码量太大，有一种操作起重机抓纸牌的感觉。最后想到了Selenium的方式，虽然速度慢了点，但可以轻松获取。

安装

Linux

sudo pip install seleniumsudo apt-get install PhantomJS

Windows

• Selenium下载地址：https://pypi.python.org/pypi/selenium#downloads
• PhantomJS下载地址

原理

关于Selenium

Selenium是一个Web的自动化测试工具，可以在多平台下操作多种浏览器进行各种动作，比如运行浏览器，访问页面，点击按钮，提交表单，浏览器窗口调整，鼠标右键和拖放动作，下拉框和对话框处理等，算是QA自动化测试的必备工具。
我们抓取时选用它，主要是Selenium可以渲染页面，运行页面中的JS，以及其点击按钮，提交表单等操作。
但就是因为Selenium会渲染页面，所以相对于requests+BeautifulSoup会慢上一些。

关于PhantomJs

PhantomJs可以看作一个没有页面的浏览器，有渲染引擎（QtWebkit）和JS引擎（JavascriptCore）。PhantomJs有DOM渲染，JS运行，网络访问，网页截图等多个功能。

使用PhantomJS，而不用Chromedriver和firefox，主要是因为PhantomJS的静默方式（后台运行，不打开浏览器）。

抓取示例

牛刀小试 - 抓取zhidaow.com Title

先拿一个简单的例子试手，之前这样的内容一般用requests+BeautifulSoup或者Scrapy处理。

from selenium import webdriverbrowser = webdriver.PhantomJS('D:\phantomjs.exe') #浏览器初始化；Win下需要设置phantomjs路径，linux下置空即可url = ' # 设置访问路径browser.get(url) # 打开网页title = browser.find_elements_by_xpath('//h2') # 用xpath获取元素for t in title: # 遍历输出 print t.text # 输出其中文本 print t.get_attribute('class') # 输出属性值browser.quit() # 关闭浏览器。当出现异常时记得在任务浏览器中关闭PhantomJS，因为会有多个PhantomJS在运行状态，影响电脑性能

原标题：Selenium+PhantomJS+Xpath抓取网页JS内容

关键词：