526互联

python信息采集之简易网页采集器实例

发布时间 2023-09-19 18:30:48作者: yesyes1

打开Pycharm

1、获取到网页的url

想要的是信息采集，query后面的参数留下，其余参数舍去：

也可以写为：

2、将url携带的参数封装到字典中（也就是对url携带参数的处理）

并将参数获取实现动态化：

3、发起请求--get

4、保存request.get内容

5、设置请求载体的身份标识-->user-agent（UA伪装--伪装为基于某一款浏览器）

6、执行得到结果