python爬虫--三大库之lxml库


Lxml库

 Lxml库是基于libxml2的XML解析库的Python库,该模块使用C语言编写,解析速度比BeautifulSoup更快。

 Lxml库使用Xpath语法解析定位网页数据。

1 安装与使用

 windows系统下,在cmd命令提示框中,输入如下命令:

  pip install lxml

2 lxml库的使用

2.1 修正HTML代码

  lxml为xml解析库,但也很好的支持了HTML文档的解析功能;

  ```
  from lxml import etree

  text ='''
  • red flower

  • yellow flower

  • white flower

  • black flower

  • blue flower
''' # lxml库解析数据,为Element对象 html = etree.HTML(text) print(html) # lxml库解析可自动修正HTML result = etree.tostring(html) print(result) ```

自动修正HTML是一个非常实用的功能,保证HTML的标准性;

2.2 读取HTML文件

 除了读取字符串,lxml库还支持从文件中提取内容;

  `from lxml import etree
  # 解析html文件
  html = etree.parse('flower.html')
  result = etree.tostring(html,pretty_print=True)
  print(result)`

  注意:HTML文件与代码文件在同一层是,用相对路径就可以进行读取;如果不在同一层,使用绝对路径即可。

2.3 解析HTML文件

  完成了前面步骤,可利用requests库获取HTML文件,再用LXML库来解析HTML文件;

  `from lxml import etree
  import requests

  res = requests.get('https://www.baidu.com')
  html = etree.HTML(res.text)
  result = etree.tostring(html,pretty_print=True)
  print(result)`

3 性能对比

  | 爬取方法        |    性能  | 使用难度 |安装难度
  | 正则表达式      |    快    | 困难     |简单(内置模块)
  | BeautifulSoup  |    慢    | 简单     |简单
  | Lxml           |    快    |   简单   |简单