hadoop实习项目——基于互联网招聘信息的统计分析

基于Hadoop技术的大数据就业岗位数据分析 作者：梁天友 邱敏 来源：《电脑知识与技术》2021年第31期 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第1页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第1页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第2页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第2页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第3页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第3页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第4页。 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第4页。 摘要：大數据是一门新兴技术，为了进一步了解与之有关的就业岗位情况，通过使用Java程序爬取出真实的大数据就业岗位数据，再结合Hadoop技术进行统计分析，最后使用可视化技术呈现大数据技术岗位不同地区招聘的薪资、数量、职业技能需求等详细信息，为各应聘者做参考和决策分析。 关键词：大数据;岗位招聘;Hadoop;统计分析;可视化 中图分类号：TP391 文献标识码：A 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第5页。 文章编号：1009-3044（2021）31-0047-04 基于Hadoop技术的大数据就业岗位数据分析全文共10页，当前为第5页。 Big Data Employment Data Analysis Based on Hadoop Technology LIANG Tian-you， QIU Min （School of Information Engineering， Nanning University， Nanning 530200，China） Abstract： Big data is a new technology， in order to further understand the related employment situation， through the use of Java program climb out real big jobs data， combining the Hadoop technologies were analyzed， and finally using visualization techniques to present big data technology jobs in different area， the hiring salary， quantity， detailed information， such as professional skill requirements for the candidates for your reference and decision analysis. Key words： Big data; Job recruitment; Hadoop; Statistical analysis; visualization 据IBM统计，全球近90%的数据是在过去2年中生成的，每天都在增加2.5 EB（1 EB=1 024 PB）数据。其中，约有90%的数据是非结构化的。所以这些来自网络和云平台的大数据为价值创造和商业智能提供了新的机会。随着大数据的到来，大数据岗位人才稀缺，治理大数据技术问题成为政府和各公司的问题【1】。政府治理（government governance）主要管理政府大数据和利用政府大数据，收集突发公共安全、突发卫生健康、犯罪、自然灾害、恐怖主义、国防等，并且向社会输送大数据技术人才，根据教育部公布的2017-2020年普通高等学校本科专业备案和审批结果显示，获批新增"数据科学与大数据技术"专业的高校高达616所【2】。公司治理（corporation governance）以信息技术（information technology）治理，即IT治理为主，更新技术处理设备，招纳大数据技术人才。 在如此的大数据技术背景下各公司会把所需人才岗位发布到互联网上，求职者根据自身需求和技能对位各公司的岗位，而使用爬虫和大数据相关技能爬取、统计、分析出来的数据能够帮助求职者起到一个借鉴和决策的作用。 1研究数据及技术方法 本次研究以Java和Hadoop技术为基础，"大数据"为关键词，爬取某IT互联网招聘网站各公司的招聘信息到Hadoop分布式文件系统（HDFS）上，爬取信息包括地区、岗位名称、薪资、教育背景、经验要求、公司福利六个字段，对爬取的数据进行处理后存储在Hive数据仓库上，使用M

基于django的hadoop文件管理系统-期末实训项目，仿百度网盘。主要是通过python的第三方库pyhdfs进行对hadoop文件系统的增删改查操作。

通过Hadoop模拟实现客户流量统计（同一手机号码登录网站所消耗的上行流量总和和下行流量总和以及整体流量总和） 这里提供我的一个具体实现论文 内有代码

实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。

大数据专业必学的课本《大数据项目实战》里面的实战项目，完整的源代码包，下载后可能要改一下ip地址，自己修改一下，就能用了。