Scrapy爬虫框架基本使用

一、常用命令

scrapy startproject demo     创建项目名为demo的Scrapy项目

scrapy genspider test www.xxx.com    创建名字为test的爬虫（需要进入到上面的demo目录下执行）

scrapy crawl test         运行爬虫test