scrapy联合selenium的文件下载问题

2019-12-06

scrapy+selenium配合,可能会使内置的ImagePipeline无法下载图片,使用requests下载图片,可能是因为图片字节太大,有时会卡主;这时在requests中加入stream=True,一块一块[requests请求的内容.iter_content(chunk_size=512)]或一行一行[requests请求的内容.iter_lines()]的读取图片,在存入才能成功(https://www.weixinfo.com/的图片)

{/if}