yangyunmmeng2002-CSDN博客

原创 VirtualBox虚拟机+ubuntu16.04 桥接模式、配置静态ip，实现宿主主机、ubuntu互相ping通

1 、选择桥接模式如图，就是桥接模式选上复制物理连接状态2、查看宿主主机的网关、DNS3、更改ubuntu配置文件ubuntu的网卡配置信息在 /etc/network/interfacesyangym@yangym-VirtualBox:~$ sudo vi /etc/network/interfaces打开后添加如下代码auto enp0s3 ...

2019-07-07 10:21:03 3728

原创在docker上部署centos+hadoop3.0分布式集群

完整步骤的思维导图一、主机规划3台主机：1个master、2个slaver/workerip地址使用docker默认的分配地址：master：主机名： hadoop2、ip地址： 172.17.0.2slaver1：主机名： hadoop3、ip地址： 172.17.0.3主机名： hadoop4、ip地址： 172.17.0.4

2018-01-09 16:28:45 8843 3

原创 docker上安装centos镜像

1、查找镜像源$ docker search centosNAME DESCRIPTION STARS OFFICIALcentos The official build of CentOS. 3857 [OK]2、下载镜像docker pull centos3、查看已下载的镜像$ docker image lsREPOSITORY TAG IMAG

2018-01-08 10:33:31 11516 2

原创 centos7安装遇到的问题

一、centos7 默认安装好后没有获取ip地址，需要手动配置。方法如下：1.输入“ip addr”并按回车键确定，发现无法获取IP(CentOS 7默认没有ifconfig命令)，记录下网卡名称（本例中为ens33）。2.输入“cd /etc/sysconfig/network-scripts/”按回车键确定，继续输入“ls”按回车键查看文件。3.输入“vi ifcfg-ens33”

2017-09-07 11:52:12 506

转载 hadoop-2.6.0集群环境搭建

一、主机规划 1、准备4台Ubuntu 14.04 64-bit 虚拟机，一台充当resourcemanager和namenode，另外三台充当nodemanager和datanode。由于需要实现主机间ssh无密码访问，主机IP采用静态配置。配置如下：namenode ip:192.168.1.110datanode1 ip:192.168.1.111

2017-07-12 17:36:16 354

原创在ubuntu上安装jdk1.8

1、从oracle网站下载jdk1.8的压缩包，如jdk-8u131-linux-x64.tar.gz2、使用ftp、pscp工具、共享目录等将下载好的jdk上传到ubuntu主机；3、对文件进行解压缩 a、将文件解压到/usr/lib/jdk目录；（我是为了方便能应用到所有用户） b、解压命令：sudo tar -xvf jdk-8u131-linux-x64

2017-07-11 15:55:32 382

转载 ubuntu安装完成后设置root用户密码

安装完Ubuntu后在终端使用命令：su -然后输入密码，总是不正确。原来是自己没有设置ROOT密码。设置ROOT密码方法如下：开启终端，输入以下命令：sudo passwd root然后输入密码按"确认"键就OK了。Ubuntu 中的 root 帐号默认是被禁用了的。在这种情况之下，如果你想要使用 root 的权限来干些事情，就需要 sudo 指令。对

2017-07-11 15:40:44 1055

转载 ubuntu上pushd命令执行错误（/bin/sh: 1: pushd: not found）解决办法

ubuntu上pushd命令执行错误（/bin/sh: 1: pushd: not found）解决办法查看原因：进入/bin目录，查看sh的链接文件，显示如下：表示sh命令链接到的是dash，而pushd命令需要在bash的环境中执行。解决方法：执行sudo dpkg-reconfigure dash 命令，将dash设置为No。再次查看：查看sh的链接已经修改为ba

2017-07-07 11:13:00 6960 2

转载 spark中application、driver、job、stage的理解

Spark学习笔记1：Application，Driver，Job，Task，Stage理解看了spark的原始论文和相关资料，对spark中的一些经常用到的术语做了一些梳理，记录下。1，Applicationapplication（应用）其实就是用spark-submit提交的程序。比方说spark example

2017-07-03 16:27:17 1287

转载 Spark编程指南

spark-1.6.0 [原文地址]Spark编程指南概述总体上来说，每个Spark应用都包含一个驱动器（driver）程序，驱动器运行用户的main函数，并在集群上执行各种并行操作。Spark最重要的一个抽象概念就是弹性分布式数据集（resilient distributed dataset – RDD），RDD是一个可分区的元素集合，其包含的元素可以分布在集群各个节点上，并且可以执行一些分布

2017-06-29 16:45:40 479

转载 spark开发环境搭建

前言　　无论Windows 或Linux 操作系统，构建Spark 开发环境的思路一致，基于Eclipse 或Idea，通过Java、Scala 或Python 语言进行开发。安装之前需要提前准备好JDK、scala 或python 环境，然后在Eclipse 中下载安装Scala 或Python 插件(Spark支持Java、Python等语言)。基本步骤如下：　　第一步：安装JDK　　第二

2017-06-28 15:07:33 555

spark内部原理介绍

基于RDD的架构，在这个开源系统栈里包括作为公共组件的Apache Spark;处理SQL的Shark;和处理分布式流的Spark Streaming。我们使用了真实的用户应用案例和传统的基准测试来评估这些系统。我们的实现为传统和新的数据分析工作提供了很好的性能，并成为第一个使得用户可以组合这些计算任务的平台。

2018-01-25