您现在的位置是：首页 > 技术笔记网站首页 技术笔记

爬虫

简介总结scrapy在不同平台的安装方法。

1.安装Scrapy依赖库

sudo apt-get install python3.6-dev
sudo apt-get install libevent-dev
sudo apt-get install libssl-dev

2.scarpy需求lxml，OpenSSL，Twisted库一般系统自带，也可用以下方法安装：

sudo pip install lxml
sudo pip install pyOpenSSL
sudo pip install Twisted

3.安装Scrapy

sudo pip install scrapy

1.更新pip

python -m pip install --upgrade pip

2.安装wheel

pip install wheel

3.安装lxml

pip intsall lxml

4.安装Twisted

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

5.安装pywin32

方法一、离线包

pip install pywin32-224-cp36-cp36m-win_amd64.whl

方法二、在线

通过PIP指向此软件包pypiwin32，从PYPI安装pywin32

python -m pip install pypiwin32
# python -m意思是将库中的python模块用作脚本去运行

6.安装scrapy

pip install scrapy

新码农博客