所需环境

1.python 2.pycharm 3.库requests，lxml，scrapy

python，pycharm下载

官网下载即可，其中pycharm可以申请一个学生账号，可以免费用一年

库requests，lxml下载

方式1 pip方式

1.下载pip

Python | Windows下如何安装pip https://jingyan.baidu.com/article/7e4409533f32092fc0e2ef24.html

2.库requests，lxml下载

如何用pip安装模块和包 https://jingyan.baidu.com/article/466506583fec5af549e5f825.html

用上面的方法安装requests，lxml库

安装requests库： 安装lxml库：

方式二：在pycharm中下载

左下角install pakage 下载完成的图

安装scrapy库

遇到问题：缺了很多包 原因：scrapy框架需要很多依赖包，要先下好那些包才能构建scrapy框架 解决： 1.下载wheel 2.到网页下载typed_ast‑1.3.5‑cp37‑cp37m‑win_amd64.whl，用pip命令安装Twisted 3.下载pywin32的exe文件，双击运行安装 4.下载lxml库 5.pip命令下载scrapy 6.设置scrapy环境变量，在系统变量path下添加scrapy.exe所在的文件夹 （需要重启cmd，否则无法直接使用scrapy命令） 然后安装完成，可以建立sneaker项目

安装虚拟环境

安装虚拟环境的意义： 当电脑中存在着不同python版本的项目时，为了使他们的环境是独立的，可以使用虚拟环境 安装方法： 打开cmd:pip install virtualenv 加快下载速度的方法： 使用豆瓣源： 方法： 1.百度python豆瓣源，得到地址：https://pypi.doubanio.com/simple/ 2.在cmd中输入：pip3 install -i https://pypi.doubanio.com/simple/ virtualenv

tip:有时候因为有一些新的包豆瓣源上跟不上pip官方的库，所以有时候豆瓣源用不了，就还得用之前的方法安装 使用方法： 新建一个虚拟环境： virtualenv scrapyTest 会将该虚拟环境直接下载到c:\user\adminstrator文件夹下面 更改虚拟环境的python版本： 1.先找到这个虚拟环境的python版本

dir cd scrapyTest dir cd script//script是包含脚本文件的文件夹 activate.bat//运行这个脚本文件 python //显示python的版本 ctrl+Z退出上层 deactivate.bat//不激活此版本

2.更改虚拟环境的python版本 （接着上面写：）

virtualenv -p 指定python.exe路径 scrapypy3 //exe文件可以使用拖动的方式 cd scrapypy3 dir cd script activate.bat python //显示python的版本 deactivate.bat

上面的方法需要cd很多次，要记住虚拟环境的路径，进入找到activate.ba文件才能够进入虚拟环境，这里有另一种新建虚拟环境的方法，可以不需要每次都进入这个环境：使用virtualenvwrapper，这是一个管理virtualenv的包 方法如下：

pip install virtualenvwrapper workon mkvirtualenv py3scrapy //该文件默认放在c:\user\adminstrator\envs下面

如果想改变这个项目和workon的路径，可以通过新建环境变量的办法来实现 在别的地方新建envs文件夹，并把原来的envs文件夹下面的文件复制过来，在环境变量中新建名为WORKON_HOME的环境变量 重启cmd，输入workon 完成 安装完之后我们每次用 workon py2scrapy就可以进入这个虚拟环境了,在这里我们可以看到python的版本 在这个环境中我们可以下载自己的包

如何解决出现的fail to find xxx lib:

去www.lfd.uci.edu/~gohlke/pythonlibs/ 找到对应的包

然后找到对应的版本： 安装好之后再回来： 然后再使用pip

切换python版本：

先退出python2环境：deactivate.bat mkvirtualenv --python=(将python3的exe拖动到此处)