一、response对象属性和方法补充
没有指定allow_redirects=False的话，返回跳转前的response对象，列表形式；指定为True的话，返回空列表
response.history
直接获取json数据
response.json()
将二进制数据变为迭代器，避免内存占用过大
response.iter_content()
二、几个高级用法
1、https：和ssl协议相关，加上证书验证，使连接更安全
#证书验证(大部分网站都是https)import requestsrespone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告import requestsrespone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200print(respone.status_code)#改进2:去掉报错,并且去掉警报信息import requestsfrom requests.packages import urllib3urllib3.disable_warnings() #关闭警告respone=requests.get('https://www.12306.cn',verify=False)print(respone.status_code)#改进3:加上证书#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书#知乎\百度等都是可带可不带#有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站，cert参数就是干这个的，元组形式，import requestsrespone=requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))print(respone.status_code)
2、使用代理，这个要掌握
》》利用proxies参数
》》目的是为了使用别的IP和端口访问网站，隐藏自身的IP和端口的多次访问，防止被禁掉
》》socks可以代理多种请求，http只能代理http请求
》》账户名和密码要加在IP和端口的前面，用@分割
#代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)import requestsproxies={ 'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码 'http':'http://localhost:9743', 'https':'https://localhost:9743',}respone=requests.get('https://www.12306.cn', proxies=proxies)print(respone.status_code)#支持socks代理,安装:pip install requests[socks]import requestsproxies = { 'http': 'socks5://user:pass@host:port', 'https': 'socks5://user:pass@host:port'}respone=requests.get('https://www.12306.cn', proxies=proxies)print(respone.status_code)
3、超时设置
#超时设置#两种超时:float or tuple#timeout=0.1 #代表接收数据的超时时间#timeout=(0.1,0.2)#0.1代表链接超时 0.2代表接收数据的超时时间import requestsrespone=requests.get('https://www.baidu.com', timeout=0.0001)
4、认证设置：了解即可
每个网站的加密方式可能都不一样，所以我们也不能用默认的加密方式
#官网链接：http://docs.python-requests.org/en/master/user/authentication/#认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的# 但本质原理是拼接成请求头发送# r.headers['Authorization'] = _basic_auth_str(self.username, self.password)# 一般的网站都不用默认的加密方式，都是自己写# 那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法# 得到加密字符串后添加到请求头# r.headers['Authorization'] =func('.....')#看一看默认的加密方式吧，通常网站都不会用默认的加密设置import requestsfrom requests.auth import HTTPBasicAuthr=requests.get('xxx',auth=HTTPBasicAuth('user','password'))print(r.status_code)#HTTPBasicAuth可以简写为如下格式import requestsr=requests.get('xxx',auth=('user','password'))print(r.status_code)
5、异常处理：了解即可
#异常处理import requestsfrom requests.exceptions import * #可以查看requests.exceptions获取异常类型try: r=requests.get('http://www.baidu.com',timeout=0.00001)except ReadTimeout: print('===:')# except ConnectionError: #网络不通# print('-----')# except Timeout:# print('aaaaa')except RequestException: print('Error')
6、上传文件
利用post方法中的files参数，参数值是一个文件句柄
import requestsfiles={ 'file':open('a.jpg','rb')}respone=requests.post('http://httpbin.org/post',files=files)print(respone.status_code)