XPath 语法

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

菜鸟教程 open in new window

XML 实例文档

我们将在下面的例子中使用这个 XML 文档。

实例

<?xml version="1.0" encoding="UTF-8"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

Scrapy

安装

Windows 安装方式

升级 pip 版本：

pip install --upgrade pip

selenium

scrapy + selenium 抓取动态页面

腾讯云博客 open in new window

安装 selenium

下载 selenium 调试工具

Chrome下载地址 open in new window，版本与 Chrome 最近即可

Urllib

urllib 包 包含以下几个模块：

• urllib.request - 打开和读取 URL。
• urllib.error - 包含 urllib.request 抛出的异常。
• urllib.parse - 解析 URL。
• urllib.robotparser - 解析 robots.txt 文件。

• Xpath

• Scrapy

• selenium

• urllib