前言（一些废话）

最近试了一下网页版的(weibo.com)和移动端的(m.weibo.cn)，网页版的解析一大堆网页实在是太麻烦，移动端只需要请求，直接返回json数据，这里对这两种方式做了下优缺点对比

网页版

优点 用户信息获取的很全面，出生日期、性取向、感情状况是移动端不能获取的微博、粉丝可以抓取的比较全面可以学习xpath、bs4、正则的网页解析 缺点 要花钱哦，因为多账号登录需要验证码，验证码识别的话，用云打码（没用过）是收费的解析页面恶心的一批，要写正则、要去看网页...比较麻烦

移动版

优点 不需要验证码直接解析json 缺点 个人信息不全微博、粉丝分页到了250之后，就没有数据返回了，暂时还没解决这个是为什么。

现在用的是移动版，配了5个微博账号，5个线程在跑，电脑扔在寝室跑，不敢说一天多少多少数据，但现在保持在一天用户30W、微博20W左右的数据量...只跑了两天...

源码的话，看后面....

正题

其实思路很简单，就是通过urllib模拟请求登录、发请求，然后解析json，存数据库...当然程序还有很多优化的地方，以后慢慢改进

环境

python3django 1.11.3mysql 5.7.17fiddler 4

抓取

写爬虫的套路就是，访问页面，分析页面行为，也就是页面的每一个操作都发了什么样的请求，返回了什么数据，记住这个套路，还有什么爬虫不能写。

模拟登陆

打开m.weibo.cn，打开fiddler 4，开启https请求的捕捉，不知道怎么开自行google当你输入好账号、密码点击登录的时候，看fiddler4捕获的请求

post请求，当然是看看他发了什么数据啦....

再看看response的数据

返回了用户登录的状态，uid...你可以访问 www://weibo.com/u/ + 上图的uid加一波微博关注（真无耻，强行吸粉）

密码没有做任何加密处理，嘻嘻，很简单吧，现在只要模拟个post请求就行了。是不是很简单？

def login(user_name, password, opener): LOGGER.info(user_name + ' login') args = { 'username': user_name, 'password': password, 'savestate': 1, 'ec': 0, 'pagerefer': 'https://passport.weibo.cn/signin/' 'welcome?entry=mweibo&r=http://m.weibo.cn/&wm=3349&vt=4', 'entry': 'mweibo', 'wentry': '', 'loginfrom': '', 'client_id': '', 'code': '', 'qq': '', 'hff': '', 'hfp': '' } post_data = urllib.parse.urlencode(args).encode() try_time = 0 while try_time < constants.TRY_TIME: try: resp = opener.open(constants.LOGIN_URL, post_data) resp_json = json.loads(resp.read().decode()) if 'retcode' in resp_json and resp_json['retcode'] == '20000000': LOGGER.info("%s login successful" % user_name) break else: LOGGER.warn('login fail:%s' % str(resp_json)) sleep(10) try_time += 1 except : LOGGER.error("login failed") LOGGER.error(traceback.print_exc()) sleep(10) try_time += 1 LOGGER.info('try %d time' % try_time)

看看写的模拟登录能不能用，当然要测试啦，这个测试当然是你自己写啦，反正我已经测试过了，如果不出意外的话，你的测试会不通过，如下URLError

Traceback (most recent call last): File "E:\codingspace\python\Jpider\spiders\weibo\weibo_http.py", line 40, in login resp = opener.open(constants.LOGIN_URL, post_data) File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 526, in open response = self._open(req, data) File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 544, in _open '_open', req) File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 504, in _call_chain result = func(*args) File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 1361, in https_open context=self._context, check_hostname=self._check_hostname) File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 1320, in do_open raise URLError(err) urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)>

哎呀，好烦，又报错，怎么办呢，stackoverflow欢迎你，传送门https://stackoverflow.com/，有错自己查，stackoverflow能解决99%你遇到的问题。

关注信息抓取

登录就那么轻松的搞定了，用户信息、微博、粉丝、关注的套路都是一样，分析拦截的请求，看哪个请求是返回数据的，然后自己模拟这个请求，就ok啦。

这里就只做用户关注的抓取示例，其他的自己去依葫芦画瓢。最近在看环法，自己也是个骑行爱好者...现在天热...都不能出去骑了，很绝望。就以环法自行车赛这个用户的关注信息为例吧

现在你可以借助chrome的工具栏看请求，windows下的快捷键是F12

查看他的关注->全部关注。你会发现浏览器发了如下的请求

你可以直接复制这个请求，在浏览器上打开。

可以看到这个请求返回的就是他的关注用户的json数据，而python中的json模块直接解析，很方便吧。

看看这个url[点开试试?]

https://m.weibo.cn/api/container/getIndex?containerid=231051_-_followers_-_5901021570&luicode=10000011&lfid=1005055901021570&featurecode=20000320&type=uid&value=5901021570

该用户的uid为5901021570，url是怎么拼的不用再多说了吧。

当然还有分页，自己往下拖，你可以看到url上会多了个page的参数，那个就是页号

数据都拿到了，还等什么？解析完后想怎么存怎么存吧。

def grab_user_follower(self, user_id): opener = weibo_http.get_openner() user = self.grab_user(user_id) att_num = user.attNum max_page = int(int(att_num) / 20) page = 1 while page <= max_page: resp = opener.open(constants.FOLLOWER_URL_PATTERN % (user_id, user_id, str(page))) self.logger.info(constants.FOLLOWER_URL_PATTERN % (user_id, user_id, str(page))) r = resp.read() resp_json = json.loads(r.decode()) if 'msg' in resp_json: break for card in resp_json['cards']: for cg in filter(lambda c: 'user' in c, card['card_group']): follower = dao.save_user_info(cg['user']) dao.save_relationship(follower, user) self.id_enqueue(follower.id, self.user_set_lock, self.CRAWLED_USERS, self.user_queue) page += 1

后语

关于微博移动端的抓取就暂时说这么多吧，说实话，移动端还是比较简单的，多线程可以搞定，只开了五个，日抓取量已经达到了30W用户+20W微博了，之后打算改成分布式的...

关于源码，暂时还没想放出来，因为不开心,而且我觉得这个也没什么难度，基本可以自己动手写，单线程写完再改成多线程的，很easy的...

当然我已经放在github了，地址暂时先不放，考验你找资料的能力了....

过几天再把网页版的抓取过程放上来，心情好点再说...

相关资源：敏捷开发V1.0.pptx