使用selenium爬取拉勾网数据分析职位信息并存储到MongoDB

工具：Chromedriver，Google浏览器，selenium，MongoDB

1.首先分析拉勾网页信息知道它的职位信息放在ajax链接里

但是拉勾的反爬机制使我们不能直接从ajax链接获取职位信息，会出现以下信息： {“status”:false,“msg”:“您操作太频繁,请稍后再访问”,“clientIp”:“113.227.30.199”,“state”:2402} 所以选择使用selenium通过模拟浏览器获取信息。

2.通过selenium运行浏览器访问拉勾网首先会出现一个选取城市分站的小窗口，这里使用css选择器模拟选择全国选项 3.这时候进入到拉勾网主站页面，要做的是使浏览器在搜索框自动输入‘数据分析’然后点击搜索框 4.这是进入拉勾首页并搜索数据分析的代码

try: browser.get('https://www.lagou.com') sub=wait.until(ECD.element_to_be_clickable((By.CSS_SELECTOR,'#changeCityBox > p.checkTips > a'))) sub.click() input=wait.until(ECD.presence_of_element_located((By.CSS_SELECTOR,'#search_input'))) submit=wait.until(ECD.element_to_be_clickable((By.CSS_SELECTOR,'#search_button'))) input.send_keys('数据分析') submit.click() get_jobs() except TimeoutException: return search()

5.下面要解决的是翻页问题，这里通过使用css选择器模拟选取页面里的下一页按钮

def next_page(): try: submit=wait.until(ECD.element_to_be_clickable((By.CSS_SELECTOR,'#s_position_list > div.item_con_pager > div > span.pager_next'))) submit.click() get_jobs() except TimeoutException: next_page()

6.接下来分析页面内每个职位的信息 以这个职位信息为例，要爬取的信息有职位名称，城市，职位标签，公司名称，公司标签以及公司福利信息，使用pyquery解析网页源码，同样使用css选择器从里面提取出各种职位信息

def get_jobs(): wait.until(ECD.presence_of_element_located((By.CSS_SELECTOR,'#s_position_list .item_con_list .con_list_item.default_list '))) html=browser.page_source doc=pq(html) items=doc('#s_position_list .item_con_list .con_list_item.default_list').items() for item in items: job={ 'job':item.find('div.list_item_top > div.position > div.p_top > a > h3').text(), 'position':item.find('div.list_item_top > div.position > div.p_top > a > span > em').text(), 'salary':item.find('div.list_item_top > div.position > div.p_bot > div > span').text(), 'experience':item.find('div.list_item_top > div.position > div.p_bot').text(), 'company':item.find('div.list_item_top > div.company > div.company_name > a').text(), 'companytag':item.find('div.list_item_top > div.company > div.industry').text(), 'jobtag':item.find('div.list_item_bot > div.li_b_l > span').text(), 'welfare':item.find('div.list_item_bot > div.li_b_r').text() } print(job) save_to_mongo(job)

7.爬取完数据之后调用MongoDB存储职位信息

#定义MongoDB MONGO_URL='localhost:27017' MONGO_DB='Job' MONGO_TABLE='DataAnalyze' def save_to_mongo(result): try: if db[MONGO_TABLE].insert(result): print('存储成功',result) except Exception: print('存储失败',result)

8.下面贴上完整代码，

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as ECD from selenium.webdriver.support.ui import WebDriverWait from selenium.common.exceptions import TimeoutException from pyquery import PyQuery as pq import urllib.error import pymongo from pymongo import MongoClient MONGO_URL='localhost:27017' MONGO_DB='Job' MONGO_TABLE='DataAnalyze' client = MongoClient(MONGO_URL) db=client[MONGO_DB] chromeOptions=webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://113.142.69.69:16816') #设置代理 browser = webdriver.Chrome(chrome_options=chromeOptions) wait=WebDriverWait(browser,10) def save_to_mongo(result): try: if db[MONGO_TABLE].insert(result): print('存储成功',result) except Exception: print('存储失败',result) def search(): try: browser.get('https://www.lagou.com') sub=wait.until(ECD.element_to_be_clickable((By.CSS_SELECTOR,'#changeCityBox > p.checkTips > a'))) sub.click() input=wait.until(ECD.presence_of_element_located((By.CSS_SELECTOR,'#search_input'))) submit=wait.until(ECD.element_to_be_clickable((By.CSS_SELECTOR,'#search_button'))) input.send_keys('数据分析') submit.click() get_jobs() except TimeoutException: return search() def next_page(): try: submit=wait.until(ECD.element_to_be_clickable((By.CSS_SELECTOR,'#s_position_list > div.item_con_pager > div > span.pager_next'))) submit.click() get_jobs() except TimeoutException: next_page() def get_jobs(): wait.until(ECD.presence_of_element_located((By.CSS_SELECTOR,'#s_position_list .item_con_list .con_list_item.default_list '))) html=browser.page_source doc=pq(html) items=doc('#s_position_list .item_con_list .con_list_item.default_list').items() for item in items: job={ 'job':item.find('div.list_item_top > div.position > div.p_top > a > h3').text(), 'position':item.find('div.list_item_top > div.position > div.p_top > a > span > em').text(), 'salary':item.find('div.list_item_top > div.position > div.p_bot > div > span').text(), 'experience':item.find('div.list_item_top > div.position > div.p_bot').text(), 'company':item.find('div.list_item_top > div.company > div.company_name > a').text(), 'companytag':item.find('div.list_item_top > div.company > div.industry').text(), 'jobtag':item.find('div.list_item_bot > div.li_b_l > span').text(), 'welfare':item.find('div.list_item_bot > div.li_b_r').text() } print(job) save_to_mongo(job) def main(): search() for i in range(2,31): print('当前正在获取第'+str(i)+'页') next_page() browser.close() if __name__ == "__main__": main()

9.下面是爬取结果示例

这里exprience工作经验项带了薪水信息，可以在用split()函数切片提取后面的经验信息，不过我在这里没进行处理。

10.将MongoDB数据导出为csv格式文件，在Excel对它进行进一步处理，下面是处理后的结果 11.将Excel文件导入到tableau，取最高薪资、最低薪资、平均薪资（（最高薪资+最低薪资）/2）的中位数，以平均薪资中位数由高到低排列，可以看出全国里北京的平均薪资是最高的。