python爬虫学习(四):爬取网页图片-正则解析数据
有一个需求,爬取网页中的图片
思路:
1、先爬取整个网页
2、通过控制台找到图片地址的的规则,使用正则获取图片地址
由此看出地址的规则为
正则表达式为:
ex = ')
代码参考
# -*- encoding: utf-8 -*-
"""
@File : widgets.py
@Time : 2022/3/6 15:52
@Author : simon
@Email : 294168604@qq.com
@Software: PyCharm
"""
import requests
import re
import os
if __name__ == "__main__":
if not os.path.exists(''):
url = 'https://new.qq.com/omn/20220310/20220310A03I7300.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}
#把整个网页进行爬取以文本方式提取
page_text = requests.get(url=url,headers=headers).text
#使用聚焦爬虫爬取所有图片网址进行解析/提取
ex = ')
成果展示: