scrapy_redis
首先redis是一种数据库类型，其有字符串、列表、集合、哈希等数据类型，满足scrapy engine调度以及去重的功能。
redis数据库基本操作：
启动客户端：redis-cli
list添加一个元素：LPUSH key vaule
查看长度：llen name
查看所有数据：keys *
查看数据类型：type key
清空数据： flushall
要使用公用调度器，需要导入scrapy_redis
在爬虫文件中定义一下内容：
from scrapy import Request from scrapy_redis.spiders import RedisSpider class CnblogSpider(RedisSpider): name = "cnblog" # allowed_domains = ["taoche.com"] # 注释起来，不做域名限制 # start_urls = ["https://taoche.com/"] # 起始的url应该去redis（公用调度器）里面获取 redis_key = 'taoche' # 回去redis里面获取key为taoche的数据taoche:[]
settings.py文件中进行一下配置
