某招聘网站招聘大数据分析案例（爬虫 + Hadoop + Spark + ECharts）
项目描述
综合运行大数据分析和可视技术，对使用爬虫程序从互联网上采集到的某招聘网站招聘岗位数据进行多维度分析，并可视化展示分析结果。
项目架构
项目流程
项目流程说明如下：
- 1. 数据采集：使用Python爬虫程序(或Java爬虫程序)；
- 2. 大数据清洗：使用Spark SQL进行数据清洗和整理；
- 3. 大数据分析：使用Spark SQL进行数据多维度分析；
- 4. 大数据迁移：使用Sqoop实现数据从HDFS导出到MySQL数据库；
- 5. 大数据可视化：使用Spring MVC + ECharts实现分析结果展示。
注：此项目可定制化改造，增加/修改如下功能
- 增加Spark ETL模块；
- 增加作业编排模块。
- 改用PySpark使用Python API进行数据清洗+分析，以及使用Python Flask + ECharts进行可视化展示；
- 改用其他BI工具可视化，如Tableau、Superset等。
适用对象
本项目适合以下人员学习使用：
- 已有Spark基础，需要掌握大数据完整开发和分析流程、积累大数据项目经验；
- 大数据毕业设计项目。
项目实施过程
1. 数据采集本项目提供Python API和Java API两套实现代码，实现从某招聘网站采集所有或指定招聘信息。
2. 大数据清洗使用Spark对大数据进行清洗，包括去重、错误数据处理、空值处理、属性转换、属性提取等数据预处理任务。
3. 大数据分析使用Spark SQL从多个维度对整理后的数据集进行分析。
4. 大数据迁移使用Sqoop将分析结果导出到MySQL数据库中。
5. 大数据可视化开发Spring MVC项目，使用ECharts作为可视化组件，展示分析结果。
项目源码下载
如果您是会员，并申请了终身会员权限，可下载本项目所有源码和测试数据。
您还未登录！(正式会员登录后可下载)
项目视频讲解
请点击下方链接，选择要播放的讲解视频。(注：正式用户登录方可观看全部项目视频)
- 项目整体说明。（视频）
- 数据采集过程实现（视频）【未登录】
- 数据清洗执行过程（视频）【未登录】
- 数据分析（视频）【未登录】
- 分析结果可视化（视频）【未登录】