Python爬虫实战一之爬取糗事百科段子

现在正则表达式在这里稍作说明

1）.*? 是一个固定的搭配，.和*代表可以匹配任意无限多个字符，加上？表示使用非贪婪模式进行匹配，也就是我们会尽可能短地做匹配，以后我们还会大量用到 .*? 的搭配。

2）(.*?)代表一个分组，在这个正则表达式中我们匹配了五个分组，在后面的遍历item中，item[0]就代表第一个(.*?)所指代的内容，item[1]就代表第二个(.*?)所指代的内容，以此类推。

3）re.S 标志代表在匹配时为点任意匹配模式，点 . 也可以代表换行符。

这样我们就获取了发布人，发布时间，发布内容，附加图片以及点赞数。

在这里注意一下，我们要获取的内容如果是带有图片，直接输出出来比较繁琐，所以这里我们只获取不带图片的段子就好了。

所以，在这里我们就需要对带图片的段子进行过滤。

我们可以发现，带有图片的段子会带有类似下面的代码，而不带图片的则没有，所以，我们的正则表达式的item[3]就是获取了下面的内容，如果不带图片，item[3]获取的内容便是空。

所以我们只需要判断item[3]中是否含有img标签就可以了。

本文完整代码如下：

  1 _author__ = 'biao'
  2 # _*_ coding:utf-8 _*_ 
  3 import urllib.request
  4 #import urllib3.request
  5 import re
  6 import _thread
  7 import time
  8 
  9 #糗事百科爬虫类
 10 class QSBK:
 11     #初始化方法，定义一些变量
 12     def __init__(self):
 13         self.pageIndex = 1
 14         self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 15         #初始化headers
 16         self.headers = { 'User-Agent' : self.user_agent }
 17         #存放段子的变量，每一个元素是每一页的段子们
 18         self.stories = []
 19         #存放程序是否继续运行的变量
 20         self.enable = False
 21     #传入某一页的索引获得页面代码
 22     def getPage(self,pageIndex):
 23         try:
 24             url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
 25             #构建请求的request
 26             request = urllib.request.Request(url,headers = self.headers)
 27             #利用urlopen获取页面代码
 28             response = urllib.request.urlopen(request)
 29             #将页面转化为UTF-8编码
 30             pageCode = response.read().decode('utf-8')
 31             return pageCode
 32  
 33         except urllib.error.URLError as e:
 34             if hasattr(e,"reason"):
 35                 print(u"连接糗事百科失败,错误原因",e.reason)
 36                 return None
 37      #传入某一页代码，返回本页不带图片的段子列表
 38     def getPageItems(self,pageIndex):
 39         pageCode = self.getPage(pageIndex)
 40         if not pageCode:
 41             print("页面加载失败....")
 42             return None
 43         pattern = re.compile('.*?(.*?).*?'+
 44                          'content">(.*?).*?