【Python爬虫】新发现一个高质量跳舞视频网站爬一下试试，男生都喜欢

好难受，上次发了做游戏的居然没人看，每天为了给你们写啥，老夫心都操碎了~
在这里插入图片描述
真的是，今天来给大家爬一波短视频网站吧，都是些很养眼的~

网站地址在代码里面，大家用心一下就能看到了。

使用的软件

python 3.8
pycharm 2021.2

模块

requests
parsel
re
concurrent.futures
time
warnings

不会安装模块看这篇：如何安装python模块, python模块安装失败的原因以及解决办法

代码展示

知道你们不想看那些步骤，我直接上代码吧

import requests
import parsel
import re
import concurrent.futures
import time
import warnings

# 取消警告
warnings.filterwarnings("ignore")


def get_html(url):
    """发送请求获取网页源代码"""
    html_data = requests.get(url=url, verify=False).text
    return html_data


def parse_data_1(html_data):
    """第一次解析, 拿到所有的详情页链接"""
    selector = parsel.Selector(html_data)
    url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()
    return url_list


def parse_data_2(html_data):
    """第二次解析, 获取视频链接"""
    video_url = re.findall('url: "(.*?)",', html_data)[0]
    return video_url


def save(video_url):
    """保存视频"""
    title = video_url.split('/')[-1]    # 取链接当中的字段作为标题
    video_data = requests.get(video_url, verify=False).content    # 发送网络请求
    with open(f'video/{title}', mode='wb') as f:
        f.write(video_data)
    print(title, "爬取成功!!!")

start_time = time.time()
url = 'https://www.520mmtv.com/hd/rewu.html'
# 1. 向目标网站发送请求
html_data = get_html(url=url)
# 2. 第一次解析数据 提取详情页链接
url_list = parse_data_1(html_data=html_data)
for info_url in url_list[:10]:
    # 3. 向详情页发送请求
    html_data_2 = get_html(url=info_url)
    # 4. 第二次解析数据 提取视频播放地址
    video_url = parse_data_2(html_data=html_data_2)
    # 5. 保存视频
    save(video_url=video_url)
print('花费时间：', time.time() - start_time)

#兄弟们学习python，有时候不知道怎么学，从哪里开始学。
#掌握了基本的一些语法或者做了两个案例后，不知道下一步怎么走，不知道如何去学习更加高深的知识。
#那么对于这些大兄弟们，我准备了大量的免费视频教程，PDF电子书籍，以及视频源的源代码！
#还会有大佬解答！
#都在这个群里了 872937351
#欢迎加入，一起讨论 一起学习！

爬取结果

在这里插入图片描述视频教程：

视频教程 Python爬取高质量妹子跳舞视频

兄弟们，学废了点个赞呗~

【Python爬虫】新发现一个高质量跳舞视频网站爬一下试试，男生都喜欢

相关

标签