您现在的位置是：首页 > 技术笔记 网站首页技术笔记

No70：Scrapy在下载中间件中对URL进行修改

爬虫  
简介在scrapy中对请求URL进行处理。
  • 问题描述：

用scrapy进行爬虫项目时，已进入URL队列的URL失效，需要进行替换。

  • 解决方法

Scrapy可以在下载中间件中对URL进行修改。

request.url是传递到中间件的url，是只读属性，无法直接修改。

可以调用_set_url方法，为request对象赋予新的URL。

def process_request(self, request, spider):
    old_url = request.url
    new_url = request.url.replace("str", "") + "str"
    request._set_url(new_url)

上一篇： No69：Scrapy命令基本用法

下一篇： No71：Scrapy多个item时指定pipeline

相关文章

文章评论

特别推荐

  • No112：Python虚拟环境-Centos7

    No112：Python虚拟环境-Centos7 阅读

  • No111：Python虚拟环境-Windows10

    No111：Python虚拟环境-Windows10 阅读

推荐文章

点击排行

标签云

关注公众号

  • 微信公众号