scrapy与selenium联合使用的中间件

2019-12-06

'''
class SeleniumMiddleware(object):
    def process_request(self, request, spider):
        if spider.name == 'Standard':
            try:
                spider.browser.get(request.url)
                spider.browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
            except TimeoutException as e:
                print('超时')
                spider.browser.execute_script('window.stop()')
            time.sleep(2)
            return HtmlResponse(url=spider.browser.current_url, body=spider.browser.page_source,
                                encoding="utf-8", request=request)
'''

{/if}