【Python】抓取基金数据
相信有很多朋友还是喜欢买基金的,今天刚好有时间就给大家来一个基金的。虽然暴富不可能,但是对于理财方面还是有所帮助的。代码就放在下面了。

爬虫常规思路:
1.分析网页
2.对网页发送请求,获取响应
3.提取解析数据
4.保存数据
Python版本:3.6.5 import requests import time import csv import re
分析网页
其实这个网站的网页数据没有太多的反爬,就是网页需要构建一个params的参数,该参数里面包含了网页翻页的数据,时间戳的数据,这些是动态的,需要怎么自己指定一下,如图所示:
如上分析后,就可以对该链接发送请求了,但是这个网站还有一个和别的地方不一样的,他给你返回的不是html源码,也不是json数据,而是字符数据,如图:
我们可以看到这些不同html和json数据,所以就需要用到正则表达式老进行过滤提取了。经过以上分析,我的大体思路就是,先爬取一页的数据,利用正则提取,能成功爬取到一页的数据后,只用做一个循环遍历,就可以爬取多页的数据了。
代码部分:
构建请求需要的参数
### ###Python学习交流Q群:906715085#### def get_params(self): """ 构建params参数的方法 :return: """ params = { "t": "1", "lx": "1", "letter": "", "gsid": "", "text": "", "sort": "zdf,desc", "page": f"{str(self.page)},200", "dt": str(self.TIMESTRF), "atfc": "", "onlySale": "0", } return params
dt这个参数上面说了,是一个不正规的时间戳,那么我们怎么办,思路是,用time模块先提取出真正的当前时间戳,然后用int()把他强制转换成整数,然后乘以1000,就可以得到这个不正规的时间戳了,在构建的时候,在把这个时间戳转换成str()就可以了。
int(time.time()) * 1000
发送请求,获取响应数据
def parse_url(self, url): """ 发送请求,获取响应数据的方法 :param url: :return: """ params = self.get_params() response = requests.get(url, headers=self.headers, params=params) if response.status_code == 200: return response.content.decode()
提取数据
def get_data(self, data_str): """ 提取基金数据的方法 :param data_str: :return: """ str_data = re.findall('var db=.*,datas:(.*),count:.*}', data_str, re.S)[0] data_list = eval(str_data) for data in data_list: yield { '基金代码': data[0], '基金简称': data[1], '单位净值': data[3], '累计净值': data[4], '日增长值': data[6], '日增长率': data[7], '手续费': data[17] }
实现程序的完整思路
def run(self): """ 实现主要逻辑思路 :return: """ with open('./jjData.csv', 'a', encoding='utf-8-sig', newline="") as csvfile: fieldnames = ['基金代码', '基金简称', '单位净值', '累计净值', '日增长值', '日增长率', '手续费'] write_dict = csv.DictWriter(csvfile, fieldnames=fieldnames) write_dict.writeheader() # 1,发送请求,获取响应数据 data_str = self.parse_url(self.API_URL) # 2,提取数据 fund_data_list = self.get_data(data_str) for fund_data in fund_data_list: print(fund_data) # 3,保存数据 write_dict.writerow(fund_data)
效果展示
END
最后,到这里就没有了,不懂的小伙伴可以跟着视频学一遍,这一篇文章到这里就接近尾声了,喜欢的小伙伴可以点赞,不懂的小伙伴评论留言。