学习资料：小猿圈https://book.apeland.cn/details/69/

一.最基本的爬取

需求：给定一个页面，爬整个页面的信息，例如爬取 的所有文本数据 1.过程： new project–>new directory–>new python file 2.代码：

import requests #指定搜索关键字 word = input('enter a word you want to search:') #自定义请求头信息:UA伪装,将包含了User-Agent的字典作用到请求方法的headers参数中即可 headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #指定url，原始url可能是https://www.sogou.com/web?query=撩妹，发现该url携带了参数 url = 'https://www.sogou.com/web' #封装get请求参数：如果请求携带了参数，则可以将参数封装到字典中结合这requests请求方法中的data/params参数进行url参数的处理 param = { 'query':word, } #发起请求 response = requests.get(url=url,params=param,headers=headers) #获取响应数据 page_text = response.text #持久化存储 fileName = word+'.html' with open(fileName,'w',encoding='utf-8') as fp: fp.write(page_text)

（结果暂不放图）

二.用户自定义的查询

需求：我有想查的关键字，我要查我想查的东西，例如：在百度中搜索“”，爬去得到的搜索结果，以文本数据展现 代码：

#把查询参数写活，变成用户自定义的 #UA是请求载体的标识，如果服务器端检测到载体是浏览器端，就不会拒绝，如果检测到是爬虫就会被拒绝，所以我们写的爬虫需要伪装成浏览器，这叫做UA伪装 import requests #指定搜索关键字 word = input('enter a word you want to search:') #自定义请求头信息:UA伪装,将包含了User-Agent的字典作用到请求方法的headers参数中即可 headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #指定url，原始url可能是https://www.sogou.com/web?query=撩妹，发现该url携带了参数 url = 'https://www.sogou.com/web' #封装get请求参数：如果请求携带了参数，则可以将参数封装到字典中结合这requests请求方法中的data/params参数进行url参数的处理 param = { 'query': word, } #发起请求 response = requests.get(url=url,params=param,headers=headers) #获取响应数据 page_text = response.text #持久化存储 fileName = word+'.html' with open(fileName, 'w', encoding='utf-8') as fp: fp.write(page_text)

（结果暂不放图）

查看： 1.点击html文件查看爬去结果，可进一步在浏览器中查看

三.爬取部分想要的信息

需求：在指定页面搜我想搜的东西，但不需要整个页面的信息，只需要部分的信息 例如：在百度翻译中发起请求，搜索“”，爬取得到的翻译结果而不是整个页面的信息 分析： 1.试一下输入一个单词，没有点击翻译它也会即时刷新，而并不是整个页面都刷新了，只是局部的刷新

2.F12打开查看响应的过程

我们发现在输入单词的过程中，输入了很多字符，最后的一次请求才是你最后得到的结果，比如输入dog，会有三个sug，第一个sug查询的是d，第二个是do，第三个是dog，这才是我们想要的 3.自定义要爬取的内容 代码：

结果：

四.爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据

1.目标 基于requests模块ajax的get请求 1.分析

param数据来源 2.代码

import requests if __name__ == "__main__": #指定ajax-get请求的url（通过抓包进行获取） url = 'https://movie.douban.com/j/chart/top_list?' #定制请求头信息，相关的头信息必须封装在字典结构中 headers = { #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } #定制get请求携带的参数(从抓包工具中获取) param = { 'type':'5', 'interval_id':'100:90', 'action':'', 'start':'0', 'limit':'20' } #发起get请求，获取响应对象 response = requests.get(url=url,headers=headers,params=param) #获取响应内容 print(response.json())

3.结果

五.爬取药监局的数据

1.目标 基于requests模块ajax的get请求 1.分析 2.代码

import requests from fake_useragent import UserAgent ua = UserAgent(use_cache_server=False,verify_ssl=False).random headers = { 'User-Agent':ua } url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList' pageNum = 3 for page in range(3,5): data = { 'on': 'true', 'page': str(page), 'pageSize': '15', 'productName':'', 'conditionType': '1', 'applyname':'', 'applysn':'' } json_text = requests.post(url=url,data=data,headers=headers).json() all_id_list = [] for dict in json_text['list']: id = dict['ID']#用于二级页面数据获取 #下列详情信息可以在二级页面中获取 # name = dict['EPS_NAME'] # product = dict['PRODUCT_SN'] # man_name = dict['QF_MANAGER_NAME'] # d1 = dict['XC_DATE'] # d2 = dict['XK_DATE'] all_id_list.append(id) #该url是一个ajax的post请求 post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById' for id in all_id_list: post_data = { 'id':id } response = requests.post(url=post_url,data=post_data,headers=headers) if response.headers['Content-Type'] == 'application/json;charset=UTF-8': #print(response.json()) #进行json解析 json_text = response.json() print(json_text['businessPerson'])

3.结果暂时不放图

注意：

1.赋值“=”两边需要空格 2.属性结束，逗号和下一个属性间需要有一个空格 冒号和下一个属性之间也需要一个空格 3. 警告：在行尾没有换行符 这种情况，你在行尾敲一下回车就行了