Python爬取近十万条程序员招聘数据，告诉你哪类人才和技能最受热捧！| 原力计划

作者 | Huang supreme

编辑 | 郭芮

出品 | CSDN博客

图源 | 视觉中国

随着科技的飞速发展，数据呈现爆发式的增长，任何人都摆脱不了与数据打交道，社会对于“数据”方面的人才需求也在不断增大。因此了解当下企业究竟需要招聘什么样的人才？需要什么样的技能？不管是对于在校生，还0 O A L是对于求职者来说~ , | +，都显得很有必要。

本文基于这个问题，针对51job招聘网站，爬取了全国范围内大数据、数据分析、数据挖掘、机器学习、人工智能等相关岗位的招聘信息。分析比较了不同D K :岗位的薪资、学历要求；l / v 6 R o O i )分析比较了不同区域、行业对相关人才的需求情况；分析比较了不同岗2 3 m 0 f位的知识、技能要求等。

做完以后的项目效果如下：

动态效果如下：

信息的爬取(基于51job招聘网站的数据爬取)

爬取岗位：大数据、数据分析、机器学习、人工智能等相关岗位；
爬取字段：公司名、岗位名、工作地址、薪资、发布时间、工作描述、公司类型、员N - ;工人数、所属行业；
说明：基于51job招聘网站，我们搜索全国对于“数据”岗位的需求，大概有2000页。我们爬取的字段，既有一级页面的相关信息，还有二级页面的部分信息；
爬取思路：先针/ ` ? 2对某一页数据的一级页面做一个解析，然后再进行二级页面做一个解析，最后再进行翻页操作；
使用工具：Python+requests+lxml+pandas+time
网站解析方式：Xpath

1）导入相关库

import requestsimport pag g C l yndas as pdfrom pprint import pprintfrom lxml iz R Tmport etreeimport timeimport warningswarningT U x Bs.filterwarningb y | F M v ps(\"ignore\")

2）关于翻页的说明

# 第一页的特点httpsy C F h /://search.51job.com/list/000000,000000,0000,00,9,99,%21 k X + P5E6%2595%25B0%25E6S C | y i 3 N f%258D%25AE,2,1.html?# 第二页的特点https://sear8 S K Xch.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%27 t , ? K y5AE,2,29 { ~ 1.html:  { b P { 6?# 第三页的特点https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6_ ^ * H%258D%25AE,2,3.html?

注意：通过对于页面的观察，可以看出，就一个地方的数字变化了，因此只需要做字符串拼接，然后循环爬取即可。

3）完整的爬取代码

import requestsiu o 7 + ` hmport pandas as pdfrom pprint import pprintf3 n - l C h * t #r] q ) @om lxml import etreeimport timeimport war# t h j @ * O m Aningswarnings.filterwN G u ( G Darnings(\"ignore\")
for i in range(1k W 5 ~ 3 8 1 ( w,1501): print(\"正在爬取第\" + strY . F(i) + \"页的数据\") url_p$ n Y O = (re = \"https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595% L P 2%25B0%25E6%258D%25AE,2,\" url_end = \".html?\" url =e ^ [ R F _ Q y url_pre + str(i) + url_end headers = { \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Geck; T 1 7 % ; a (o) Chrome/73.0.3683L ! / ^.86 Safari/537.36\' } web = re) U P V tqueU f $ +sts.get(url, heaQ 0 ~ C A iders=headers) web.encoding = \5 : b $ ="gbk\" dom = etree.HTML(web.textz 5 f ] N 9) # 1、岗位名称 job_name = dom.xpath(\'//div[@class=\"dw_table\"]/div] K p k L 5 b[@class=\"el\"]//p/span/a[@target=\"_blank\"]` z E/@title\') # 2、公司名称 company_name = dom.xpath(\'//div[@class=\"dw_table\M 4 E a P B K Y"]/div[@class=\"el\"]/span[@class=\"t2\"]/a[@target=\"_blank\"]/- W , V : T@title\') # 3、工作地点 address = dom.xpath(\'//div[@class=\"dw_table\J ) N |"]/div[@class=\"el\"]/span[@class=\"t3\"]/text\') # 4、工资 salary_mid = dom.xpath(\'//div[@class=\"dw_tabe D g  ! dle\/ 3 Y"]/div[@class=\"el\"]/span[@class=\6 p 6 $ ! s D } k"t4\"]\') salary = [i.text for i in salary_mid] # 5、发布日期 release_time = dom.xpath(\'//div[@class=\"dw_table\"]/div[@class=\"el\"]/spa/ b 3 - In[@class=\"t5\"]/text\') # 6、获取二级网址url deep_url = dom.xpatL z  D ! /h(\'//div[@class=\"dw_table\"]/div[@class=\"el\"]/c F 4 t/p/spa3 a z W 4 J bn/a[@target=\"_blank\"]/@href\n z b') RandomAll =  JobDescribe =  CompanyType =  CompanySize =  Industry =  for i in range(len(deep_url)): web_test = requests.get(deep_url[1 ) N 7i],0 R j Q I a y z Z headers=headers) web_test.encoding = \"gbk\" dom_test = etree.HTML(web_tes^ w a ? 8 H { 1t.text) # 7、爬取经验、学历信 s W息，先合在一个字段里面，以后再做数据清z r Q M洗。命名为random_all random_allx r A / R S = dom_test.xpath(\U h @ Z ` O p * p'//div[@class=\"tHeader tHjobc f ( U\} 4 S"]//div[] H w c 0 V - l +@class=\"cn\"]/p[@class=e X a q Y 6 ` 6 r\"msg ltype\"]/text\') # 8、岗位描G u % ! q s f述性息 job_2 Z l s Xdescribe = dom_test.xpath(\'//div[@class=\"tBorderTop_box\"]//div[@class=\"bmsg job_msg inbox\"]/p/text\') # 9、l @ y ) I K L公x } 2 & A ~ +司类型C G { 9 w [ company_type =w Z C y ) dom_test.xpath(\'//div[@cT i ! { m +lass=\"tCo- p z 4 r B R . Dmpany_sidebar\"]//div[@class=8 5 T w 9 p @\"com_tag\"]/p[1]/@title\') # 10、公司规模(人数) company_size = dom_testA 6 : E F / V & :.xpath(\'//div[@class=\"tCompany_sidebar\"]O O N !//div[@class=\"com_tag\"]/p[2]/2 | * R = U@title\') # 11、所属行业Z ^ . q ; % v(公司) industryx % G o F 7 = dom_test.xpath(\'//div[@class=\"tComE x n 7 npany_s ` :sidebar\"]D ] @ O H q s  ///div[D 8 V / c 5 }@class=\"com_tag\"]/p[3]/@title\') # 将上述信息保存到各自的列表中 RandomAll.append(random_all) JobDescribe.append(job_describe) CompanyType.append(company_type) CompanySiz} F E q r @ , ie.append(company_size) Industry.append(industry) # 为了反爬，设置睡眠时间 time.sleep(1) # 由于我们需要爬取很多页，为了防止最后一次性保存所有数据出现的错误，因此，我们每获取一夜1 / E . /的数据，就进行一次数据存取。 df = pd.DataFrame df[\"岗位名称\"] = job_name df[\"公司名称\"] = company_name df[\"工作地点\"] = address df[\"工资\"] = salary df[\"发布日期\"] = release_time df[\H * b {"经验、学历\"] = RandomAll df[\"公司类型\"] = CompanyType df[\"公司规模\"] =D ` ^ d d 7  r CompanySize df[\"所属行` S } B业\"] = Industry df[\"岗位9 D P x !描述) N o 2 S t e ! R\"] = JobDescribe # 这里在写出过程中，有可能会写入失败，为了解决这个问题，我们使用异常处理。 try: df.to_csv(\"job_info.csv\", mode=\"a+\", header=None, index=None, encoding=\"gbk\") except: print(\"当页数据写入失败\") time.sleep(1)print(\"数据爬取完毕，是不是很开! Q 9心！！！\")

这里可以看到，我们爬取了1000多页的数据做最终的分析。因此每爬取一页的数据，做一次数据存储，避免最终一次性存储导致失败。同时根据自己的测试，有一些页数进行数据存储，会导致失败，为了不影响后面代码的执行，我们使用了“try-except”异常处理。

在一级页面中，我们爬取了“岗位名称”，“公司名称”，“工作地点”，“工| 7 -资”，“发布日期”，“二级网址的url”这几m A q ,个字段 } 6 E o | / U `。

在二级页面中，我们爬取了“经验、学历信息”，“岗位描述”，“公司类型”，z N D“公司规模”，“所属行业”这几个字段。

数据预处理

从爬取到的数据中截取部分做了一个展示，可以看出数据很乱。杂乱的数据并不利于我们的分析，因此需要根据研究的目标做一个数据预处理，得到我们最终可以用来做可视化展示的数据。

1）相关库的导入及数据的读取

df = pdO 2 B p | r L z.read_csv(r\"G:\\8泰迪\\python_project\\51_job\\job_info1.csv\",engine=\"pythonY D a N\",header=None)# 为数据框指定行索引dfC & t E 2.index = range(len(df))# 为数据? w 9框指定列索引df.columns = [\"岗位名\",\"公司名\",\"工作地n O c w - =点\",\"工资\",\"发布日期\",\"经验与学历\",\"公司类型\",\"公司规模\",\"行业\",\"工作描述\"]

2）数据去重

我们认为一个公司的公司名和和发布的岗位名一致，就看作是重复值。因此，使用drop_duplicates(subset=[])函数，基于“岗位名”和“公司名b } . 0 # 4 n”做一个重复值的剔除。

# 去重之前的记录数print(\"去重之前的记录数\",df.shape)# 记录去重df.drop_duplicates(subset=[\"公司名\",\"岗位名\"],inplace=True)# 去重之后的记录数print(\"去重之后的记录数\",df.shape)

3）= # 8 &岗位名字段的处理

① 岗位名字段的探索

df[\"岗位名\"]: Q 6 8 ! # ? K t.value_countsdf[\"岗位名# i s % y T\"] = df[\"岗位名\"].apply(lambda x:x3  ~ q E #.lower)

说明：首先我们2 R ^对每个岗位出现的频次x 6 ? & @ w ` o做一个统计，可以看出“岗位名字段”太杂乱，不便于Z o j % F z我们做统计分析。接着我们u M * [ , d i B将岗位名中的大写英文字母统一转换为小写字母，也就是说“AI”和“Ai”属于同一个东西。

② 构造想要分析[ T z 5 b s E 6 T的目标岗位，做一个数据筛选

job_info.shapetarget_job = [\v _ B x | } ^ u'算% J ] R法\', \'开发\', \'分析\', \'工程师\', \'数据\', \'运营\'1 H ^ e _ ( C N H, \'运维\']index = [df[\"岗位名\"].str.count(i) for i in target_job]index = np.array(index)+ 0 ) K F M A N.sum(axis=0) > 0job_info = df[index]job_info.shape

说明：首% W t Q & k先我们构造了如上七个目标岗位的关键字眼。然后利用c_ R C V ? w Xount函数统计每一条记录中，是否包含这七个关键字眼，如果包含就保留这个字段，不过不包含Q 2 r S k g % *就删除这个字段。最后查看筛选之后还剩余多少条记录。

③ 目标岗位标准化处理(由于目标岗位太杂乱，我们需要统一一下)

job_list = [\'数据分析\', \"数据统计\",\"数据专员\b * s 0 X a +"l ( T n / } e,\'数据挖掘\', \'算法\',  \'大数据\',\'开发工程师\', \'运营\', \'软件工程\', \'前端开发\', \'深度学习\', \'ai\', \'9 J s U N H 3 T数据库\', \'数据库\', \'数据产品\', \'客服\', \'java\', \'.net\', \'andrio\', \'人工智能\0  + L = k A M', \'c++\', \'数据管理\',h [ M d a K + \"测试\",\"运维\"]job_list = np.array(job_list)def rename(x=None,job_list=job_list):` v X index = [i in x for i in job_list] if sum(index) > 0: return job_list[index][0] else: ri 8 % #eturnp W f R 5 xjob_info[\"岗位名\"] = job_  Minfo1 2 D l B * %[\"岗位名F 2 M y C\"].apply(rename)job_info[\"岗位名\"].value_b _ ( w . Ecounts# 数据统计、数_ Y X 2 ( H O F J据专员、数据分析统一归为数据分析job_info[\"岗位名\"] = job_info[\"岗位名\"].apply(I - J % G F s e ~lambda x:re.sub(\"数据专员\",\"数据分析\",x))job_info[\"岗位名\"] = job_info[\"岗位名\"].apply(lambda x:re.sub(\"数据统计\",\"数据分析\",} N X z n G jx)). Y v

说明：首先E l | R M a U我们定义了一个想要替换的目标岗位job_list，将其转换为ndarray数组。W 7 5 Y u L U E 1然后定义一个函数，如果某条记录包1 Y Q含job_list数组中的某个关键词，那么就将该条记录替换为这个关键词，如果某条记录包含job_list数组中的多个关键词，我们只取第一个关键词替换该条记录。接着使用value_counts函数统计一下替换后的各岗位的频次。最后，我们将“数B + r 1 3 3 ]据专员”、“数据统计”统一归为“数据分析”。

4）工资水平字段的处理

工资? 1 $ g } g $ u [水平字段的数据类似于“20-30万/0 $ X年”、“2.5-3万/月”和“3.5-4.5千/月”V P * g . Y s v这样的格式。我们需要做一个统一的变化，将数据格式转换为“元/月”，然后取出这两个数字d $ n，求一个平均值。

job_info[\"工资\"].str[-1_ # I].value_countsjob_info[\"工资\"]8 | 5 8 N f X ` h.str[-3].value_counts
index1 = job_info[\"工资\"].str[-1].isin([\"! ; D d年\",\"月\"])index( v ; * | -2 = job_info[\"工资\"]W D S U 1.str[-3].isin([\"万\",\"千\"])job_info = job_info[in% ! g h Udexo w b { , ] L ^1 & index2]
def get_money_max_min(x): try: if x[-3] == \"万\": z = [float(i)*1% y 2 I n &0000 for i in re.findall(\"[0-9]+\\.?[0-9]*\",x)] eli= [ R h i R . -f x[-3] == \"千\": z = [float(i)H g , ` E = * 1000 for i in re.findall(\"[0-9]+\\.?[0-9]*\", x)] if x[-1] == \"年\": z = [i/12 for i^ + . W w ; . { in z] return z except: rej ! o , ] * x `ture Y  h 4 7 * W Zn x
salary = job_info[\"工资\"].apply(get_money_max_min)job_info[7 , 6 Y l .\"最低工资\"] = salary.str[0]job_info[\"最高工资\"] = salary.str[1]jobI B M @ }_info[\"工资[ o Q g i水平\"] = job_info[[\"最低工资\",\i B - Q 4"最高工资\"]].k 4 R R W D % ; lmean(axis=1)

说明：首先我们做了一个数据筛选，针对于每一条记录，如果最后一个字在“年”和“5 N T月”中，同时第三个字在“万”和“千”中，那么就保留这条记录，否则就删除。接着定义了一个函数，将格式统一转换为“元/月”。最后将最低工资和最高工资求平均值，得到最终的“工资水平”字段。

5）工作地点字段的处理

由于整个数据是关于H l F ` G )全国的数据，涉及到的城市也是特别多。我们需要自定义一个常用的目标工作地点字段，对数据做一个统一处理。

#job_info[\"工作地点\"].value_countsaddress_list = [\'北京\', \'上海\'C T ` ) ) + %, \'广州g 5 M\', \'深圳\', \'杭州\', \'苏州\': l i Z L W 8 H f, \'长沙\', \'武汉\', \'天津\', \'成都\', \'西安( H H 7 B\', \'东莞\', \'合肥\', \'佛山\', \'宁波\', \'南京\', \'重庆\', \'长春\', \'郑州\', \'常州\', \'福州\', \'沈阳\', \'济南\', \'宁波\'h J ^ `, \'厦门\', \'贵州\', \'b P | m珠海\', \'青岛A Q X ( H\', \'中山\', \'大连\',\'昆山\',\"惠州\",\"哈尔滨\",\"昆明\",\"南昌\",\"无锡\"]address_list =d f & np.arrayT 7 X A(address_list)
def rename(x=None/ V C f,address_list=address_list)L @ W 7 Q [ 9 8: index = [i in x for i in address_list] if sum(index) > 0: return address_list[index][0] else: return xjob_info[\"工作地点\"] = job_ik ^ Ynfo[\"工作地点a U X U ^ | , = r\W # ] V s } = x 6"r v ~ 0 # R].apply(rename)

说明：首先我们定义了一v M N f % k S个目标工作地点列表，将其转换为ndarray数组。接着定义了一个函数，将原始工作地点记录，替换为目标工作q ) 9 - |地点中的城市。

6）公司类型字段的处理

这个很容易，就不详细说明了。

job_info.loc[job_info[\"m  - A 2 9 o公司类型n h ` +\"].apply(lambda x:len(x)<6),\"0 M 8 G  J V公司类型\"] = np.nanjob_info[\"公司类型\"] = job_in7 Q ifo[\"公司类型! 0 j Z e\"]X 6 _ 4 s.str[2:-2]

7）行业字段的处理

每个公司的行业字段可能会有多个行业标签，但是我们默认以第一个作为该公司的行业标签。

#r : ^ y } U R job_info[\"行业\"].$ _ =value_countsjob_info[\"行业\"] = job_info[\"行业\"w U $ I J h q].apply(lambda x:re{ * E t D ? G }.sub(\",\",1 L 0 j A 8 e M ?\P 1 a G"/\",x))joG e _ ~ 9 ?b_info.loc[job_info[\"行业\"].apply(lamb( C Q / uda x:len(x)<6),\"行业\"] = np.nanjob_info[\"行业\"] = job_info[\"行业\"].str[2:-2].str.split(\H b J c O 7 Q d"/\").str[0]

8）经验与学历M I S Z i 0 L字段的处理

关于这个字段的数据处理，我很是思考了一会R E c s儿，不太好叙述，放上代码自己下去体会。

job_info[\) B t D S N = X J"学历\"] = job_info[\"经验与学历\"].apply(lambda x:re.N g p *findall(\"本科|大专|应届生|c * | f s o q d s在校生|硕士\",x))def func(x): if len(x) == 0: return np.nan elif len(x) == 1 or len(xV H m) == 2: return x[0] elP : l l ( T O ise: return x[2]job_info[\"学历\"] = job_info[\"学历\"].apply(func)

9）工作描述字段的处理

对于每一行记录，我们去除停用词以后，做一个jieba分词。

with open(r\"G:\\8泰迪\\python_project\\51_job\\stopword.txt\",\"r\") as f:Q  y l T { Z A stopword = f.readstopword = stopword.splitstopword = stopword + [\"任职\",\"职位\",\" \"]
job_info[\"工K K | y +作描述\"] = job_infY 5 Zo[\"工作描述\"1 o E ; v k 1 z |].str[2:-2].apply(lambda x:x.lower).apply(lambda x:\"\".join(x))\\ .apply(jieS r $ K j U j c }ba.lcut).apply(lambda x:[i for i in x if i not in stopword])job_info.loc[job_q R G %info[\"工作描述\"].apply(lambda x:len(x) < 6),\"工作描述\"] = np.nan

10）公司规模字段的处理

#job_info[\"公司规模\"].value_countsdef func(x): if x == \"[\'少于50人\']\": return \"<50^ x . L . 8 n x N\" elif x == \"[\'] u ! 4 6 n ~50-150人\']\": return \"50-150\" el k 7 b M % z Pif x == \"[\'150-500人\']\": return \'150-500\' elif x == \"[\'500-1000人\']\": return \'500-1000\' elif x == \"[\'1, B }000-5000人\']\": return \'1000-5000\' elif x == \"[\'5000-10000人\']\": return \'5000-10000\' elif x == \"[\'10000人以上\']\":x Y p V [ P K A m return \">10000\" else: return np.nanjob_info[Y Y % 7 4\"公司规模\"] = job_info[\"公司规模\"].apply(func)

11）构造新数据

我们针对最终清洗干净的数据，选取需要分析的字段，做一个数据存储。

feature = [s f @ , I z 2 8\"公司名\",\"岗位名\",\"工作地点\",\"工资水平\",\"发布日期\",\"学历\",\"公司类型\",\"公司规模0 W (\",\"行业\",\"工作描述\"]final_df = job_info[feature]final_df.to_excel(r\"G:\\8泰迪\\python_project\\51_job\\词云图.xlsx\B C , ) L ",encoding=\"gbk\",index=None)

关于“工作描述”字段的特殊处理

由于我们之后需要针对不同的岗位名做不同的词云图处理，并且是在tableau中做可视化展示，因此我们需要按照岗r G m T位名分类，求出不同岗位下各关键词的词频统计。

import numpy as npimport pandas as pdimport reimport jiebaimport warningswO 6 F U f x ~ C xarnings.filterwarnings(\"ignore\")
df = pdA + ? b 3 E.read_excel(r\"G:\\8泰迪\\python_project\\51_job\\new_job_inA D N 5 D Kfo1.xlsx\",encoding=\"gbk\")df
def get_word_cloud(data=None, job] B ? # * d 4 [_name=None): words =  describe = data[\'工作描述\'][data[\'岗位名P - r\'] == job_name].str[1:-1] describe.dropna(in# A !place=True) [words.extend(i.splil } | - Z  B Gt(\',\')) for i in describe] words = pd.Series(words) word_fre = words.value_counts return word_fre
zz = [\'数据分析\', \'算法\', \'I = k 0 | _大数据\T =  8',\'开发工程师\'[ b 3 t s B, \'运营\', \'软件工程\',\'运维\', \'数L { b _ j m 7据库\',\'java\',\"测试\"]for i in zz: wor| x M e 4 = 6 $d_fre = get_word_cloud(data=dfK K 9 g 0 * h .,) 1 a g # job_3 K / g m v oname=\'{}\'.B 7 e P Q eformat(i)) wor4 / P fd_fre = word_fre[1:].reset_index[:100] word_fre[\"岗位名\"] = pd.Series(\": C K{}\".format(i),index=range(len(word_fre)o O ~ L W)) word_fre.to_csv(r\] ? B ? # E l 3 w"G:\\8泰迪\\python_project\\51_job\\词云图\\bb.csv\", moI v P c ! 2 Gde=\'a\',index=False, header=None,encoding=\"gbk\")