scrapy+selenium配合,可能会使内置的ImagePipeline无法下载图片,使用requests下载图片,可能是因为图片字节太大,有时会卡主;这时在requests中加入stream=True,一块一块[requests请求的内容.iter_content(chunk_size=512)]或一行一行[requests请求的内容.iter_lines()]的读取图片,在存入才能成功(https://www.weixinfo.com/的图片) CATALOG 标签 scrapy selenium scrapy-redis