import requests
import re
import time
import json
from requests import RequestException
def get_one_page(url):
try:
headers={'User - Agent': 'Mozilla / 5.0(WindowsNT10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 72.0.3626.121Safari / 537.36'}
response=requests.get(url,headers=headers)
if response.status_code==200: #状态码200 ，表示请求成功
return response.text #返回的是相应后的 html代码
return None
except RequestException:
return None
def parse_one_page(html):# 解析网页的代码，分析出想要得到的关键词
#解析的规则
pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
+ '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
+ '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
items=re.findall(pattern,html)
# print(items) 是列表形式，太乱了
for item in items:
yield { #换成字典类型的
'index':item[0],
'image':item[1], #图片的地址
'title':item[2],#标题
'actor':item[3].strip()[3:],#作者
'time': item[4].strip()[5:],#上映的时间
'score': item[5]+item[6], #评分
}
def write_to_file(content): #把解析出来的数据写入本地文本中
with open('top100.txt','a',encoding='utf-8') as f:
# json.dumps()是实现字典的序列化 ,就是把 字典 变成 字符串 类型
# print(type(json.dumps(content))) ----><class 'str'>
f.write(json.dumps(content,ensure_ascii=False) + '\n')
def main(offset):
url='http://maoyan.com/board/4?offset=' +str(offset)
html=get_one_page(url)
for item in parse_one_page(html):
print(item)
write_to_file(item)
if __name__ == '__main__':
for i in range(10):
main(offset=i*10)
time.sleep(1)
