用正则表达式爬豆瓣电影数据

学了正则表达式后，简单的用它来爬取豆瓣网的数据

import re from urllib.request import urlopen def getPage(url): # 获取网页的字符串 response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): ret = com.finditer(s) # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回 for i in ret: yield { "id": i.group("id"),#根据分组名取内容 "title": i.group("title"), "rating_num": i.group("rating_num"), "comment_num": i.group("comment_num"), } def main(num): # 0 25 50 # 这个函数执行10次,每次爬取一页的内容 url = 'https://movie.douban.com/top250?start=%s&filter=' % num response_html = getPage(url) # response_html就是这个url对应的html代码 就是 str ret = parsePage(response_html) # ret是一个生成器 print(ret) f = open("move_info7", "a", encoding="utf8") for obj in ret: print(obj) data = str(obj) f.write(data + "\n")#以字符串的形式将爬取的内容写入文件 f.close()#关闭文件 #正则表达式匹配 .*?x匹配任意字符直到遇到x停止 flags=re.S表示正则表达式.匹配任意字符包括换行符 com = re.compile( '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S) count = 0 for i in range(10):#循环10次，爬取整个网页的内容 main(count) count += 25