secretWHD的博客

前言 承蒙朋友的关照，让我在短时间内从零学会安装使用CDH和Docker，并将其融会贯通，完成Docker搭建CDH集群的工作。在这我也将整个安装流程和心得，尽可能详细的阐述清楚，让各位在安装搭建之路上，少走弯路，理清思路。 本制作安装的全部流程，在虚拟机，阿里云，腾讯云上都可实践制作部署，使用的版本情况：CentOS 7，CDH6.3 ，MySQL5.7 ，JDK1.8 等。 根据Docker特性和CDH的安装流程，按如下图进行操作：大概流程就是制作...

前言 这是为了完成CDH manager镜像和agent镜像准备的制作环境，这个步骤可以在虚拟机上完成准备，只是制作镜像包，还不涉及安装部署。 准备环境 1. 更新yum源 yum install -y vim wget ntp net-tools \ && mkdir -p /etc/yum.repos.d/repo_bak \ && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \ &....

前言 根据CDH安装流程来看，需要分别安装cloudera-manager-server节点 和 cloudera-manager-agent节点，两者安装步骤和安装包不一样，也是考虑到后续方便给CDH添加新节点，所以单独将这两个节点安装到不同的容器内 接下来先安装cloudera-manager-server节点的内容 1. 创建并运行server容器 创建运行容器参数说明： 参数 说明 -d 后台运行容器 -name 容...

1. 创建并运行agent容器 docker run -d \ --hostname agentserver \ --name agentserver \ --privileged=true \ server/bashimage \ /usr/sbin/init \ && docker ps 结果： 9bba31143dcf70a4775a7d20085ea277f940f67e132cfe9b8d7001fa92189d87 CONTAINER ID IMAGE

到这一步已经可以拿去现场部署了，asrservermaster.tar.gz 和asrserverslave.tar.gz已经环境搭建好，接下来展示到现场如何安装 现场宿主机的环境提前准备好，集群规模在一台宿主机上分三个节点，分别是server001,server002,server003这三台 1.创建集群网络 docker network create --subnet=172.30.0.0/24 cdh-net \ && docker network ls \ &am.

登陆Cloudera Manager平台 http://192.168.60.100:7180 账号密码：admin/admin 1.1 1.2 1.3 免费 2.1 2.2 2.3 2.4 选择CDH和Flink 2.5 将parcel包内的Hadoop，Hive等组件分发到各个节点进行解压激活 2.6 3.1 自行选择 自定义选择Zookeeper，HDFS，Yarn，Hive 3.2 DataNode和Zo......

前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全分布式CDH集群的难点，这里将使用Dokcer Swarm网络解决了这个问题。 1. 拷贝安装包 将镜像安装包拷贝到各个节点 主节点拷贝 master-serv...