ubuntu搭建Hadoop

### 安装和配置 Hadoop 的步骤 #### 准备工作 为了在 Ubuntu 上安装和配置 Hadoop，首先需要准备一个运行良好的 Ubuntu 环境。可以通过 Docker 创建一个基于 Ubuntu 16.04 的容器环境来简化操作[^2]。 下载并启动 Ubuntu 镜像后，确保系统已经更新到最新状态，并安装必要的工具包，例如 `ssh` 和 `java`（Hadoop 运行依赖 Java）。以下是具体的准备工作： ```bash sudo apt-get update && sudo apt-get upgrade -y sudo apt-get install openjdk-8-jdk ssh rsync -y ``` 完成上述步骤后，建议修改主机名为更易于识别的名字，比如 `hadoop01`，以便后续管理更加方便[^3]。 --- #### 下载和解压 Hadoop 软件包 访问 Apache Hadoop 的官方网站或者镜像站点，下载最新的稳定版软件包。假设我们使用的是 Hadoop 3.3.1 版本，则执行以下命令将其下载、解压缩以及移动至合适的位置： ```bash wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz sudo mv hadoop-3.3.1 /usr/local/ ``` 设置环境变量以使 Hadoop 命令全局可用，在文件 `/etc/profile` 中追加如下内容： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 随后重新加载 shell 配置文件使其生效： ```bash source /etc/profile ``` --- #### 编辑核心配置文件 编辑 Hadoop 的主要配置文件之一——`core-site.xml` 来指定临时目录路径以及其他基础参数[^4]。具体来说，添加下面的内容到该 XML 文件内部： ```xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-3.3.1/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 此部分定义了默认的文件系统 URI 及其存储位置。 另外还需要调整其他几个重要组件的相关设定值，包括但不限于 NameNode 地址映射表单 (`hdfs-site.xml`) 和资源调度器策略 (`mapred-site.xml`)。 --- #### 初始化与测试 当所有的前期准备工作都完成后，就可以初始化 HDFS 并启动整个服务链路了。通过下列指令依次实现这些目标： ```bash hdfs namenode -format start-dfs.sh jps ``` 最后一条命令用于验证当前进程中是否存在关键的服务实例；如果一切正常的话应该能看到诸如 `NameNode`, `DataNode` 或者类似的条目列表呈现出来。 此时即完成了基本形态下的单一节点伪分布式模式部署过程[^1]。 ---