python爬虫学习(四):爬取网页图片-正则解析数据


有一个需求,爬取网页中的图片

思路:
1、先爬取整个网页
2、通过控制台找到图片地址的的规则,使用正则获取图片地址

由此看出地址的规则为

正则表达式为:

ex = '

代码参考

# -*- encoding: utf-8 -*-
"""
@File    : widgets.py
@Time    : 2022/3/6 15:52
@Author  : simon
@Email   : 294168604@qq.com
@Software: PyCharm
"""
import requests
import re
import os


if __name__ == "__main__":
    if not os.path.exists(''):
        url = 'https://new.qq.com/omn/20220310/20220310A03I7300.html'
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
        }
        #把整个网页进行爬取以文本方式提取
        page_text = requests.get(url=url,headers=headers).text
        #使用聚焦爬虫爬取所有图片网址进行解析/提取
        ex = '

成果展示: