您现在的位置是：首页 > 技术笔记 网站首页技术笔记

No78：Scrapy重写start_requests方法

爬虫  
简介scrapy的start_requests方法重写，添加更多操作。

有时scrapy默认的start_requests无法满足我们的需求，例如分页爬取，那就要对它进行重写，添加更多操作。

def start_requests(self):
    # 自定义功能
    yield scrapy.Request(url="http://test.com", method="GET", callback=self.parse)


def parse(self, response):
    print(response.url)

上一篇： No77：Scrapy管道的open_spider、close_spider

下一篇： No79：十大经典排序算法

相关文章

文章评论

特别推荐

  • No112：Python虚拟环境-Centos7

    No112：Python虚拟环境-Centos7 阅读

  • No111：Python虚拟环境-Windows10

    No111：Python虚拟环境-Windows10 阅读

推荐文章

点击排行

标签云

关注公众号

  • 微信公众号