windows安装hadoop3.1.2-单机版

最新推荐文章于 2025-05-24 14:50:39 发布

原创最新推荐文章于 2025-05-24 14:50:39 发布 · 2.6k 阅读

CC 4.0 BY-SA版权

本文介绍了在 Windows 10 系统上安装 Hadoop 3.1.2 的详细过程。首先说明了所需的基本信息，包括 Hadoop 版本、操作系统和 JDK 版本。接着阐述安装步骤，如安装 JDK 并配置环境变量，解压 Hadoop 安装文件，修改多个配置文件，最后启动 HDFS 和 Yarn 并查看启动状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基本信息

hadoop版本：3.1.2
操作系统：win10
jdk版本：1.8

二、安装过程

1、安装jdk1.8，并配置环境变量。
2、安装配置hadoop
   解压hadoop安装文件到安装目录
   配置HADOOP_HOME环境变量，并在path中加入%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
   下载windows编译过的bin文件夹，可以到这个地址下载：
       https://github.com/cdarlint/winutils

   修改配置文件hadoop-env.cmd
       设置JAVA_HOME(如果路径中包含Program Files使用PROGRA~1代替)
       set JAVA_HOME=C:\PROGRA~1\java\jdk1.8

   (1)修改hdfs-site.xml
   configuration节点下加入如下配置
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.permissions.enabled</name>
       <value>false</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/develop/hadoop/data/namenode</value>
   </property>
   <property>
       <name>fs.checkpoint.dir</name>
       <value>/D:/develop/hadoop/data/snn</value>
   </property>
   <property>
       <name>fs.checkpoint.edits.dir</name>
       <value>/D:/develop/hadoop/data/snn</value>
   </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/develop/hadoop/data/datanode</value>
   </property>

   (2)修改core-site.xml
   configuration节点下加入如下配置
   <property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/D:/develop/hadoop/data/tmp</value>
   </property>
   <property>
       <name>fs.trash.interval</name>
       <value>1440</value>
   </property>

   (3)修改yarn-site.xml
   configuration节点下加入如下配置
   <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

   (4)修改mapred-site.xml
   configuration节点下加入如下配置
   <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
7、启动HDFS
   格式化namenode（第一次启动前执行，只执行一次）
   hdfs namenode -format
   启动hdfs
   start-dfs.cmd
   启动yarn
   start-yarn.cmd
   查看是否启动成功
   jps
   浏览器访问
   http://localhost:9870/
   http://localhost:8088/cluster