爬虫实战案例分析，数据分析岗位信息爬取并可视化分析

一周美食说茶 • 2022-06-06 20:35:00 • 投稿

最近经常收到人事小姐姐和猎头小哥哥的面试邀请，想想最近也不是招聘旺季呀。但又想到许多小伙伴们有找工作这方面的需求，今天就来分享一篇简单的爬虫案例，旨在跟大家一起分析一下部分招聘市场。以”数据分析”为例。

需要用到的模块

import requests
import time
import random
import os
import requests
from bs4 import BeautifulSoup
import openpyxl
import numpy as np

import requests

import time

import random

import os

import requests

from bs4 import BeautifulSoup

import openpyxl

import numpy as np

爬虫代码

本次爬虫难度不大，属于入门级别的，只要懂得requests请求，BeautifulSoup解析即可轻松上手，下面是本次爬虫的主要代码。

def getPosition(url):
    times=time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    print(u'\n本地时间：',times)
    print(u'\n开始采集数据...')
    # 请求获取返回值
    data = getData(url)
    # BeautifulSoup解析网页
    soup = BeautifulSoup(data.text, features='lxml')  # 对html进行解析，完成初始化
    results = soup.find_all(attrs={'class': "job-list"})
    job_list =  results[0].find_all(attrs={'class': "job-primary"})
    lens = len(job_list)
    for num in range(lens):
        positions = []
        job = job_list[num]
        # 根据节点查询相应数据
        positions.extend(job.find_all(attrs={'class': "job-title"})[0].text.split())
        positions.append(job.find_all(attrs={'class': "job-limit"})[0].text.split()[0])
        job_limit = job.find_all(attrs={'class': "job-limit"})[0]
        positions.extend(str(job_limit.p).rstrip('&lt;/p&gt;').lstrip('&lt;p&gt;').split('&lt;em class="vline"&gt;&lt;/em&gt;'))
        positions.append(job.find_all(attrs={'class': "company-text"})[0].text.split()[0])
        company = job.find_all(attrs={'class': "company-text"})[0].p
        positions.extend(company.a.text.split())
        positions.extend(str(company).rstrip('&lt;/p&gt;').split('&lt;em class="vline"&gt;&lt;/em&gt;')[1:])
        positions.extend(job.find_all(attrs={'class': "info-desc"})[0].text.split())
        positions.append(','.join(job.find_all(attrs={'class': "tags"})[0].text.split()))
        write_to_excel(positions)

def getPosition(url):

times=time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())

print(u'\n本地时间：',times)

print(u'\n开始采集数据...')

# 请求获取返回值

data = getData(url)

# BeautifulSoup解析网页

soup = BeautifulSoup(data.text, features='lxml') # 对html进行解析，完成初始化

results = soup.find_all(attrs={'class': "job-list"})

job_list = results[0].find_all(attrs={'class': "job-primary"})

lens = len(job_list)

for num in range(lens):

positions = []

job = job_list[num]

# 根据节点查询相应数据

positions.extend(job.find_all(attrs={'class': "job-title"})[0].text.split())

positions.append(job.find_all(attrs={'class': "job-limit"})[0].text.split()[0])

job_limit = job.find_all(attrs={'class': "job-limit"})[0]

positions.extend(str(job_limit.p).rstrip('').lstrip('').split(''))

positions.append(job.find_all(attrs={'class': "company-text"})[0].text.split()[0])

company = job.find_all(attrs={'class': "company-text"})[0].p

positions.extend(company.a.text.split())

positions.extend(str(company).rstrip('').split('')[1:])

positions.extend(job.find_all(attrs={'class': "info-desc"})[0].text.split())

positions.append(','.join(job.find_all(attrs={'class': "tags"})[0].text.split()))

write_to_excel(positions)

数据结果

获取到数据之后，需要对原始数据进行一些简单的清洗工作。清洗前需要先思考下你需要获取哪些信息，有针对性的清洗。

一探究竟

本次可视化分析工具是 Pyecharts

从技能标签找学习方向

将所有公司的技能标签统计后，绘制前十的技能需求直方图。从图中很明显地看到遥遥领先的分别是Python、SQL，数据分析思维及能力及Excel也紧跟其后。像小编做的数据挖掘技能需求量也不小。

似乎在数据分析职位中，Pythoner和SQL boy都是非常抢手的。

哪些城市的数分岗位更热门

由全国地理图可看的出，北上广深加苏州、厦门、杭州等都是很热门的城市，你会选择哪个城市？

全国都有哪些公司招聘数分职位

以公司名称的大小来表示各个公司招聘职位数，绘制招聘公司词云图。很明显地看的出如腾讯、阿里、OPPO、Boss等大厂需求量较大，因此机会也多。所以大家学好数据分析，进入大厂不是梦。

谈钱不伤感情

大家最关心的还是一个职位能给到我多少钱，比较还要养家糊口。

从全国各城市平均薪资排行榜看，遥遥领先的是北京、深圳、上海和杭州，分别是23K、19.7K、18.6K和18.5K。而小编所在的城市——成都，只有9K。文章不想写了，我想静静。。。

看完各城市平均薪资，再来瞧瞧各个行业的平均薪资吧。人力资源服务及银行这两个行业均超过了20K。

首先随机查看一个人力资源服务的，这类职位多为商业数据分析，该职位的特点是高学历是硬性，但对于工具使用要求不高，只需熟练使用EXCEL即可，需要些管理经验。

再看看银行行业，薪资水平真香！虽然没有说学历要求，但可能是一个默认的情况吧。职位描述中多次提及到业务数据，说明他对业务要求较高。需要会SQL语句，需要会搭建数据分析模型，这类模型不一定是机器学习模型，也会有很多统计类、数学类模型等等。

为啥北京公司的工资高

单独分析下北京的数据分析公司情况，公司规模在1000-9999人占比第一，达到37.2%，10000人以上的公司也高达22.87%，都是些大厂，工资水平能不高么。

有人说，公司人多，不一定有钱呐。好嘛，再来看看他们公司的融资阶段情况呢。D轮及以上上市的公司已经接近一半了，多半都是有钱的主哇。

成都数据分析公司啥情况

占比最多的是20-99人的小型公司，规模在1000-9999人的公司仅有34家，跟首都简直不能比。所以成都平均公司水平不过万，也是有原因的。

再来看看公司融资情况，大部分都是未融资的，上市公司仅占12.75%，D轮及以上的也只有5.39%呐。但从另一个角度想想，成都的发展潜力还是很大的。作为西南的重要枢纽城市，相信他会越来越棒的。

你还有啥想了解的——福利呐

最后再来看看大家比较关心的公司福利状况。

通过绘制福利词云图，看到大部分公司的常见福利都还是有的。意外的是少部分公司有提供不一样的福利，如无息住房借款、专属健身房、孝顺金等，真让人羡慕哇。

写在最后

最后多说两句。我们上面分析的内容仅是从一些常见的指标，并不能作为你入职一家公司的主要判断依据。个人觉得还需要从一家公司的企业文化、公司发展方向、提供职位的发展空间、所处行业跟你预期是否符合等等方面综合衡量。

本文来自作者:一周美食说茶，不代表小新网立场！

转载请注明：https://www.xiaoxinys.cn/88889.html

一周美食说茶注册用户

椰子汁包装雷同误导消费（造成商标侵权赔8万）

上一篇 2022-06-06 20:28:00

微信指数代刷（微信步数突然暴增的方法）

下一篇 2022-06-06 20:47:00

投稿

沈阳历史文化名城的价值与特色

沈阳是闻名遐迩的历史文化名城，这里蕴育了辽河流域的早期文化，是中华民族的发祥地之一。沈阳素有“一朝发祥地，两代帝王都”之称。在漫长的历史中，沈阳留下了深厚的文化积淀、孕育了灿烂丰富…

一周美食说茶
2023-03-15
邱晨个人资料介绍及图片

有扛过辩论节目《奇葩说》的都知道，邱晨是《奇葩说》第二季冠军，但近日有网友扒出她此前有多次不当言论，对此邱晨发文予以否认。 3月16日晚，人民日报评论部官方微博对此发表微评“国家大…

seo优化技巧
2023-01-20 • 百科知识
贵州省毕节市大方县旅游景点，大方县好玩的景点

大方县位于贵州省西北部，隶属毕节市，东邻金沙县，南连黔西县，西接七星关区，地处贵州金三角核心地带，全县居住着汉、彝、苗、白、仡佬等23个民族。境内矿产资源丰富，基础设施完善，地理位…

二手车教授
2023-05-03 • 百科知识
公认好用的5款大牌补水喷雾，补水喷雾有作用吗

补水喷雾到底是不是“智商税”？这应该是很多人都有的疑问。从早些年的补水喷雾产品市场来看，它们的产品类型相对单一，给人一种“鸡肋”护肤品的感觉。但是随着市场的发展，补水喷雾的功效越…

二手车教授
2023-04-08 • 百科知识
快手金牌是什么（快手充值快币多少钱）

最近，继字节跳动、携程分别拿到支付牌照后，快手再次被传出“收购持牌支付机构易联支付，从而间接获得支付牌照”的消息。据悉，这笔交易在收购方式上，快手是以现金+股票的形式进行并购，其…

落落
创业项目 2022-09-04
Python详细安装教程（如何选择python安装版本）

随着人工智能，网络爬虫，大数据分析等业务模式的流行，Python依靠拥有各种开源库，且入门容易等特性越来越火爆。想到就去做，赶紧下载Python学习起来，本文将详细介绍Python…

活动推广
2023-01-17 • 淘宝运营
如何扒露娜紫霞仙子的衣服

TOP5：露娜的紫霞仙子，紫霞仙子在我们众多玩家的眼中是非常端庄舒雅的，但是总有那么一刹那，我们不经意间就可以发现一些不为人知的秘密，紫霞仙子这个的风光，大家见过吗？ TOP4：…

央广网
2023-02-25 • 投稿
投稿

王晰为什么不待见阿云嘎，阿云嘎就是真正的草原父亲伊德尔

根据“三千孤儿入内蒙古”的真实历史事件改编的电影《海的尽头是草原》9月9日上映，在影片的开机仪式上，阿云嘎说作为内蒙古演员，能出演这部电影是他的骄傲，“我觉得这部电影是铭记历史，铭…

路逸轿运-
2023-02-16
自卑敏感多疑玻璃心，敏感多疑的人在日常生活中有哪些症状

事实上，并不是所有的“敏感”都值得推敲。在所有敏感、多疑和自尊的群体中，有一些我们称之为“非常敏感的群体”。简单地说，敏感群体的存在与先天基因和遗传的关系更为密切。这些组在…

央广网
投稿 2022-07-31
三星手机截图怎么截，三星手机截图有几种方法

如果要问小伙伴们，手机怎么截屏的话，相信很多小伙伴的答案，都是按下组合键“电源键+音量减”进行截屏。这个办法普遍适用于每台安卓手机，不过，每当遇到一些需要我们快速截取屏幕画面的场…

书影
2023-04-18 • 百科知识
2022年最新过生日的经典名句（高情商祝自己生日快乐的朋友圈）

1、年年胜意，岁岁欢喜。（我今年用的这个） 2、承蒙时光不弃，终究又长大了一岁。 3、美好的日子，已悄悄来临，生日快乐。 4、诗装在心里，奶油抹在脸上。 5、愿以后能笑能闹能随性，…

整理侠
2022-12-13 • 投稿
抖音运营

干洗店抖音运营方法

干洗店如何应对抖音团购的价格战？#干洗店技术培训干洗店如何应对团购价格战？很多同行都在跟我说他们的店还没来得及上某音团购，却突然发现某音上的价格战已经是铺天盖地的来了。我们都知…

zt1080
2023-07-07