Request库入门

》》》Request库入门

Request库的7个主要方法

get（） 方法

　　requests.get

　　r = requests.get(url)

request库的两个重要对象

　　Response     Request  构造一个向服务器请求资源的Request对象

       返回一个包含服务器资源的Response对象（包含爬虫返回的所有内容，也包含请求的Request信息）

　　Response对象的属性　         

>>> import requests
>>> r = requests.get("http://www.baidu.com")
>>> r.status_code
200
>>> r.text[:1000]
'\r\n -Compatible content=IE=Edge>cache/bdorz/baidu.min.css>  

 
 
 
 
 
 m/img/bd_logo1.png width=270 height=129> 
 
 me value=1>    pe=hidden name=rsv_idx value=1> maxlength=255 autocomplete=off autofocus>'
>>> type(r)
<class 'requests.models.Response'>
>>> r.headers  #HTTP Header中的所有内容
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Tue, 01 Feb 2022 12:49:30 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:52 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
>>> r.encoding  #从HTTP header中的charset字段中猜测的相应内容编码方式，若header中不存在charset,默认编码ISO-8859-1
'ISO-8859-1'
>>> r.apparent_encoding  #从网页内容分析出的相应内容编码方式（可看作r.encoding的备选）
'utf-8'
>>> r.encoding = "utf-8"  #更换编码方式
>>> r.text[:1000]
'\r\n patible content=IE=Edge>orz/baidu.min.css>  
 
 
  class=s_form> 
 
  iv>   =utf-8>    hidden name=tn value=baidu>pan>'

爬取网页的通用代码框架

request 库的异常　网络连接有风险，注意异常处理（Exception）

Response的异常

r.raise_for_status()  如果不是200，产生异常 requests.HTTPError

r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要 增加额外的if语句，该语句便于利用try‐except进行异常处理　

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()  #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

两种情况的执行结果
>>>

 Edge>
 #0000cc> 
 
 
 
 iv class=s_form_wrapper> 
 
>>>
产生异常

HTTP协议及Requests库方法

>>> HTTP协议

HTTP，Hypertext Transfer Protocol，超文本传输协议 HTTP是一个基于“请求与响应”模式的、无状态的应用层协议 HTTP协议采用URL作为定位网络资源的标识，

URL格式： http://host[ :port ] [ path ]

host: 合法的Internet主机域名或IP地址

port: 端口号，缺省端口为80

path: 请求资源的路径

HTTP URL实例：

http://www.baidu.com

http://www.bit.edu.cn

http://220.181.111.188/duty

HTTP URL的理解：

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

>>> HTTP协议对资源的操作

通过URL和命令管理资源，操作独立无状态，网络通道及服务器成为了黑盒子

>>> 理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段

需求：用户修改了UserName，其他不变

? 采用PATCH，仅向URL提交UserName的局部更新请求

? 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除 PATCH的最主要好处：节省网络带宽

>>> HTTP协议与Requests库方法

相关字节一样的功能方法一致（eg: GET = requests.get( )）

Requests 库的head（）方法

Requests 库的post( )方法

>>> r = requests.post('http://httpbin.org/post',data = payload)
>>> print(r.text)
{                              
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {                           #向URL POST 一个字典
    "key1": "value1",              #自动编码为form（表单）
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-61f93933-49cd47826810d3367eb0b964"
  }, 
  "json": null, 
  "origin": "1.80.175.129", 
  "url": "http://httpbin.org/post"
}

>>> Requests库的put( )方法

>>> Request 库主要方法解析

requests.request(method , url , **kwargs)

? method : 请求方式，对应get/put/post等7种

r= requests.request('GET', url, **kwargs)

r = requests.request('HEAD', url, **kwargs)

r = requests.request('POST', url, **kwargs)

r = requests.request('PUT', url, **kwargs)

r = requests.request('PATCH', url, **kwargs)

r = requests.request('delete', url, **kwargs)

r = requests.request('OPTIONS', url, **kwargs)

? url : 拟获取页面的url链接

? **kwargs: 控制访问的参数，共13个,均为可选项

　　params : 字典或字节序列，作为参数增加到url中

　　data : 字典、字节序列或文件对象，作为Request的内容

　　json : JSON格式的数据，作为Request的内容

　　headers : 字典，HTTP定制头

　　cookies : 字典或CookieJar，Request中的cookie

　　auth : 元组，支持HTTP认证功能

　　files : 字典类型，传输文件

　　timeout : 设定超时时间，秒为单位

　　 proxies : 字典类型，设定访问代理服务器，可以增加登录认证

　　allow_redirects : True/False，默认为True，重定向开关

　　stream : True/False，默认为True，获取内容立即下载开关

　　verify : True/False，默认为True，认证SSL证书开关

　　cert : 本地SSL证书路径

requests.get(url,  params=None,  **kwargs)

? url : 拟获取页面的url链接

? params : url中的额外参数，字典或字节流格式，可选

? **kwargs: 12个控制访问的参数

requests.head(url,  **kwargs)

? url : 拟获取页面的url链接

? **kwargs: 12个控制访问的参数

requests.post(url, data=None, json=None, **kwargs)

? url : 拟更新页面的url链接

? data : 字典、字节序列或文件，Request的内容

? json : JSON格式的数据，Request的内容

.**kwargs: 12个控制访问的参数

requests.put(url, data=None, **kwargs)

? url : 拟更新页面的url链接

? data : 字典、字节序列或文件，Request的内容

? **kwargs: 12个控制访问的参数

requests.patch(url, data=None, **kwargs)

? url : 拟更新页面的url链接

? data : 字典、字节序列或文件，Request的内容

? **kwargs: 12个控制访问的参数

requests.delete(url,  **kwargs)

? url : 拟删除页面的url链接

? **kwargs: 12个控制访问参数

requests.get(url, params=None, **kwargs)

? url :拟获取页面的url链接

? params : url中的额外参数，字典或字节流格式，可选

? **kwargs: 12个控制访问参数