史上最详细的hadoop安装教程

最新推荐文章于 2025-06-29 14:36:50 发布

新生代农民

最新推荐文章于 2025-06-29 14:36:50 发布

阅读量3.5w

点赞数 16

CC 4.0 BY-SA版权

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_41359822/article/details/119878550

本文详细指导如何在Ubuntu 64位系统上安装SSH服务，配置Hadoop环境，包括设置核心、MapReduce和HDFS配置，以及启动和验证Hadoop集群。适合初学者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、引言

首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。
本机的配置环境如下：
Hadoop(3.1.1)
Ubuntu Linux(64位系统)

二、安装ssh服务

ubuntu中默认是没有安装ssh server的，只有 ssh client,可以使用如下命令安装：
sudo apt-get install ssh openssh-server

默认root用户是无法通过ssh连接到ubuntu的，修改配置文件

vim /etc/ssh/sshd_config

把 PermitRootLogin yes 按照这个配置

三、安装Hadoop

1.下载Hadoop安装包
可以到如下网址下载：http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/

2.解压

把压缩包传到 /usr/local/目录中
使用如下命令解压缩Hadoop安装包：
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后出现Hadoop-3.1.1的文件下如下：

3.配置Hadoop中相应的文件
我使用的是Hadoop的伪分布式，因此需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop3.1.1/etc/hadoop下面，

具体需要的配置如下：
(1)core-site.xml 配置如下：目录文件不需要你自己去创建会自动生成。

<configuration>
                <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/home/root/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

(2)mapred-site.xml.template配置如下：

把mapred-site.xml.template 复制一份 cp mapred-site.xml.template mapred-site.xml,然后配置

mapred-site.xml这个文件内容

<configuration>
<property>
             <name>mapred.job.tracker</name>

             <value>localhost:9001</value>
        </property>


</configuration>

(3)hdfs-site.xml配置如下：

<configuration>
  <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/root/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/root/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

(4)hadoop-env.sh配置如下：

查看你的 jdk安装目录

echo $JAVA_HOME