您现在的位置是:网站首页> 编程资料编程资料
Python 文档解析lxml库的使用详解_python_
2023-05-26
520人已围观
简介 Python 文档解析lxml库的使用详解_python_
1.lxml库简介
lxml 是 Python 常用的文档解析库,能够高效地解析 HTML/XML 文档,常用于 Python 爬虫。
lxml 为第三方库,需要我们通过pip命令安装:
pip install lxml
2.lxml库方法介绍
lxml 库提供了一个
etree模块,该模块专门用来解析 HTML/XML 文档,让我们先导入模块:
from lxml import etree
使用
etree模块的HTML()方法可以创建 HTML 解析对象:
from lxml import etree parse_html = etree.HTML(html)
HTML()方法能够将 HTML 标签字符串解析为 HTML 文件,并且可以自动修正 HTML 文本:
from lxml import etree html_str = ''' ''' html = etree.HTML(html_str) # tostring()将标签元素转换为字符串输出,注意:result为字节类型 result = etree.tostring(html) print(result.decode('utf-8'))
上述代码我故意在Java那一行少写一个,可以看到输出会自动补全:
解析为 HTML 文件后,我们可以使用
xpath()方法来提取我们需要的数据了:
from lxml import etree html_str = ''' ''' html=etree.HTML(html_str) xpath_bds='//@href' r_list = html.xpath(xpath_bds) print(r_list)
xpath()方法使用一个XPath表达式作为参数,上面那段程序提取出了页面里的所有网址。
详细的
XPath表达式语法,请参见菜鸟教程:
https://www.runoob.com/xpath/xpath-syntax.html
3.代码实例
lxml 库在爬虫中的使用大概就是这么多了,接下让我们结合前一篇文章(Python 网页请求:requests库的使用),来写一个普通的爬虫程序吧:
import os import sys import requests from lxml import etree x = requests.get('https://www.csdn.net/') html = etree.HTML(x.text) xpath_bds = '//img/@src' img_list = html.xpath(xpath_bds) # 创建img文件夹 os.chdir(os.path.dirname(sys.argv[0])) if not os.path.exists('img'): os.mkdir('img') print('创建文件夹成功') else: print('文件夹已存在') # 下载图片 for i in range(len(img_list)): img = requests.get(img_list[i]).content if img_list[i].endswith('.jpg'): with open(f'./img/{i}.jpg', 'wb') as f: f.write(img) elif img_list[i].endswith('.jpeg'): with open(f'./img/{i}.jpeg', 'wb') as f: f.write(img) elif img_list[i].endswith('.png'): with open(f'./img/{i}.png', 'wb') as f: f.write(img) else: print(f'第{i + 1}张图片格式不正确') continue print(f'第{i + 1}张图片下载成功') 这个爬虫程序爬取了CSDN首页的所有
.jpg、.jpeg、.png格式的图片,快来自己尝试一下吧!
到此这篇关于Python 文档解析lxml库的使用的文章就介绍到这了,更多相关Python lxml库内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
相关内容
- Python 页面解析Beautiful Soup库的使用方法_python_
- Python实现将json文件生成C语言的结构体的脚本分享_python_
- Python入门教程之三元运算符的使用详解_python_
- Python+requests+unittest执行接口自动化测试详情_python_
- python中openpyxl库用法详解_python_
- Python实现21点小游戏的示例代码_python_
- 一文教会你用python连接并简单操作SQLserver数据库_python_
- python中dot函数运算过程总结_python_
- 将.py文件转化为.exe文件的详细过程_python_
- python中if的基础用法(if else和if not)_python_
