一、模块安装
pip install requests
二、常用方法
在实际的爬虫中，其实真正用到的只有 GET、POST，像其他的方法基本用不到，比如：DELETE、HEAD、PUT 等。
1、GET 方法
headers = {'user-agent': 'my-app/0.0.1'}
payload = {'key1': 'value1', 'key2': 'value2'}
requests.get(url, params=payload, headers=headers)
2、POST 方法
headers = {'user-agent': 'my-app/0.0.1'}
payload = {'key1': 'value1', 'key2': 'value2'}
requests.post(url, data=payload, headers=headers)
3、参数设置
禁用证书验证
verify = False
如果爬取的目标网站是 HTTPS 的，那么需要设置下这个参数。
代理设置
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
proxies = proxies
设置代理的目的是隐藏真实的IP地址，防止被禁IP地址。
HTTP Auth 认证
auth = HTTPBasicAuth('admin', 'admin')
如果网站设置了 Auth 认证，需要配置这个参数传递账号密码。
附：
requests地址 https://requests.readthedocs.io
三、案例
搞爬虫都是注重效率的，俗话说："工欲善其，必先利其器"。那我们在这里利用一个工具将 CURL 请求直接生成 Python 代码。
复制网络请求的 CURL 命令。
将 CURL 命令转换成 Python 代码
最终生成的 Python 代码
附：
目标网址 https://spa1.scrape.center/
工具地址 https://curlconverter.com/python/
四、小结
1、requests 工具是编写爬虫程序中最常用的模块。
2、为了提高爬虫程序的编写效率直接使用 curlconverter 工具，将 curl 命令转换成 Python 代码。
3、本篇文章主要是作为笔记记录下，希望这些内容能够对你有帮助。