设为首页收藏本站
开启辅助访问 切换到宽版

安徽论坛

 找回密码
 立即注册

QQ登录

只需一步，快速开始

安徽论坛»论坛 › 大国徽商 › 计算机 › Python数据提取-lxml模块
返回列表 发新帖
查看: 11882|回复: 0

Python数据提取-lxml模块

[复制链接]
小雨敲窗y

83

主题

0

回帖

261

积分

中级会员

Rank: 3Rank: 3

积分
261
发表于 2022-3-26 11:00:02 | 显示全部楼层 |阅读模式
网站内容均来自网络，本站只提供信息平台，如有侵权请联系删除，谢谢！
知识点：

  • 了解lxml模块和
    1. xpath
    复制代码
    语法的关系；
  • 了解lxml模块的使用场景；
  • 了解lxml模块的安装；
  • 了解 谷歌浏览器
    1. xpath helper
    复制代码
    插件的安装和使用；
  • 掌握xpath语法-基础节点选择语法；
  • 掌握 xpath语法 -节点修饰语法；
  • 掌握xpath语法 - 其他常用语法；
  • 掌握 lmxl模块中使用xpath语法定位元素提取数学值或文本内容；
  • 掌握lxml模块etree.tostring函数的使用；
1、了解lxml模块和xpath语法

对
  1. html
复制代码
或xml形式的文本提取特定的内容，就需要我们掌握lxml模块的使用和xpath语法。
lxml模块可以利用xPath规则语法，来快速的定位HEML \ XML 文档中特定元素以及获取节点信息（文本内容、属性值）；
  1. XPath
复制代码
(XML Path Language)是一门HTML\XML 文档中查找信息的语言，可用来在HTML|XML文档中对元素和属性进行遍历。
提取xml、html的数据需要lxml模块和xpath语法配合使用；
2、谷歌浏览器xpath helper插件的安装和使用


  • 在谷歌浏览器中对当前页面测试xpath语法规则。
  • 谷歌浏览器xpath helper插件的安装和使用
我们以
  1. windows
复制代码
为例进行xpath helper的安装。
  1. xpath helper
复制代码
插件的安装：

  • 1）、下载Chrome插件 XPath Helper
  • 可以在Chrome应用商城进行下载，如果无法下载，也可以从下面的链接进行下载
  • 2）、把文件的后缀名crx改为rar,然后解压到同名文件夹中；
  • 3）、把解压后的文件夹拖入到已经开启开发者模式的chrome浏览器扩展程序界面；
3、xpath 的节点关系

学习xpath语法需要先了解xpath中的节点关系。
3.1 xpath中的节点什么

每个
  1. html
复制代码
、xml的标签我们都称之为节点，其中最顶层的节点称为根节点。我们以
  1. xml
复制代码
为例、html也是一样的。、

3.2 xpath中节点的关系

  1. author
复制代码
是
  1. title
复制代码
的第一个兄弟节点。
4、xpath语法 - 选取节点以及提取属性或文本内容的语法


  • 1）、XPath 使用路径表达式来选取XML文档中的节点或者节点集。
  • 2）、这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似；
  • 3）、使用chrome插件选择标签时候，选中的标签会添加属性class=“xh-highlight”;
4.1 xpath定位节点以及提取属性或文本内容的语法


5、xpath 语法 - 选取特定节点的语法

可以根据标签的属性值，下标等来获取特定的节点。
5.1 选取特定节点的语法


5.2 关于xpath的下标

在xpath中，第一个元素的位置是1；
最后一个元素的位置是last();
倒数第二个是last() - 1;
6、xpath语法 - 选取未知节点的语法

可以同通配符来选取未知的
  1. html
复制代码
、
  1. xml
复制代码
的元素。
6.1、选取未知节点的语法


7.lxml模块的安装与使用示例

lxml模块是一个第三方模块，安装之后使用。
7.1 lxml模块的安装

对发送请求获取的xml或html形式的响应内容进行提取。
  1. pip install lxml
复制代码
7.2 爬虫对html提取的内容

提取标签中的文本内容；
提取标签中的属性的值；
比如，提取a标签中href属性的值，获取url，进而继续发起请求。
7.3 lxml模块的使用

1）、导入lxml的etree库
  1. from lxml import etree
复制代码
2)、利用
  1. etree.HTML
复制代码
，将html字符串（bytes类型或str类型）转化为
  1. Element
复制代码
对象，
  1. Element
复制代码
对象具有xpath的方法，返回结果的类别。
  1. html = etree.HTML(text)
  2. ret_list = html.xpath("xpath语法规则字符串")
复制代码
3)、xpath方法返回列表的三种情况
返回空列表：根据xpath语法规则字符串，没有定位到任何元素；
返回由字符串构成的列表：xpath字符串规则匹配的一定是文本内容或某属性的值；
返回由
  1. Element
复制代码
对象构成的列表：xpath规则字符串匹配的是标签，列表中的
  1. Element
复制代码
对象可以继续进行xpath;
  1. import requests
  2. from lxml import etree

  4. class Tieba(object):

  6.     def __init__(self,name):
  7.         self.url = "https://tieba.baidu.com/f?ie=utf-8&kw={}".format(name)
  8.         self.headers = {
  9.             'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
  10.         }

  12.     def get_data(self,url):
  13.         response = requests.get(url,headers=self.headers)
  14.         with open("temp.html","wb") as f:
  15.             f.write(response.content)

  17.         return response.content

  19.     def parse_data(self,data):
  20.         # 创建element对象
  21.         data = data.decode().replace("<!--","").replace("-->","")
  22.         html =etree.HTML(data)

  24.         el_list = html.xpath('//li[@class="j_thread_list clearfix"]/div/div[2]/div[1]/div[1]/a')
  25.         #print(len(el_list))

  27.         data_list = []

  29.         for el in el_list:
  30.             temp = {}
  31.             temp['title'] = el.xpath("./text()")[0]
  32.             temp['link'] = 'http://tieba.baidu.com' + el.xpath("./@href")[0]
  33.             data_list.append(temp)

  35.         # 获取下一页url
  36.         try:
  37.             next_url = 'https:' + html.xpath('//a[contains(text(),"下一页"]/@href')[0]
  38.         except:
  39.             next_url = None

  41.         return data_list,next_url

  43.     def save_data(self,data_list):
  44.         for data in data_list:
  45.             print(data)

  47.     def run(self):
  48.         # url
  49.         # headers
  50.         next_url = self.url

  52.         while True:

  54.             # 发送请求，获取响应
  55.             data = self.get_data(self.url)
  56.             # 从响应中提取数据（数据和翻页用的url)
  57.             data_list,next_url = self.parse_data(data)

  59.             self.save_data(data_list)

  61.             print(next_url)

  63.             # 判断是否终结
  64.             if next_url == None:
  65.                 break

  67. if __name__ == '__main__':
  68.     tieba =Tieba("传智播客")
  69.     tieba.run()
复制代码
8、lxml模块中etree.tostring函数的使用

运行下边的代码，观察对比
  1. html
复制代码
的原字符串和打印输出的结果
  1. from lxml import etree

  3. html_str = """<div<<ul>
  4.         <li class="item-1"><a href="link1.html" rel="external nofollow" >first item</a></li>
  5.         <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li>
  6.         <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li>
  7.         <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li>
  8.         <li class="item=0"><a href="link5.html" rel="external nofollow" >fifth item</a>
  9.         </ur></div>
  10. """

  12. html = etree.HTML(html_str)

  14. handeled_html_str = etree.tostring(html).decode()
  15. print(handeled_html_str)
复制代码
结论：

    1. lxml.etree.HTML(html_str)
    复制代码
    可以自动补全标签；
    1. lxml.etree.tostring
    复制代码
    函数可以将转换位
    1. Element
    复制代码
    对象再转换回html字符串；
  • 爬虫如果使用
    1. lxml
    复制代码
    来提取数据，应该以
    1. lxml.etree.tostring
    复制代码
    的返回结果作为提取数据的依据；
到此这篇关于Python数据提取-lxml模块的文章就介绍到这了,更多相关Python -lxml模块内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
                                                        
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
免责声明
1. 本论坛所提供的信息均来自网络，本网站只提供平台服务，所有账号发表的言论与本网站无关。
2. 其他单位或个人在使用、转载或引用本文时，必须事先获得该帖子作者和本人的同意。
3. 本帖部分内容转载自其他媒体，但并不代表本人赞同其观点和对其真实性负责。
4. 如有侵权，请立即联系，本网站将及时删除相关内容。
回复 设为聚合帖聚合到帖子

使用道具 举报

返回列表 发新帖
懒得打字嘛，点击右侧快捷回复 【右侧内容，后台自定义】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表