Hadoop3.14完全分布式集群搭建
·
一Vmware中虚拟机的创建


































二.连接MobaXterm
1.查IP地址(IP addr)

2. 使用远程连接工具连接虚拟机
(1)点击Session按钮

(2)点击SSH

(3)输入虚拟机的ip地址和用户名

(4).修改连接会话的名称

三.克隆(剩下两台虚拟机 Slave1 Slave2)



重复上述步骤,查询IP地址连接MobaXterm,克隆Slave2
四. 关闭防火墙
1.查看CentOS防火墙状态

2.关闭运行的防火墙
3.禁用防火墙服务
五、关闭NetworkManger服务

六.配置静态IP
1.进入网卡配置文件所在目录

2.编辑对应的网卡配置文件

3.修改内容
4.重启网络
5.ping命令测试网络是否连通
重复以上步骤,配置Slave1和Slave2的静态IP
七.IP地址和主机名的映射
1.需要使用root用户修改 /etc/hosts 文件,删除原来的内容,在结尾直接追加内容(每台机器):

2.配置完成后可以使用ping命令一一测试,看看是够能够正确解析出ip地址,得到目标机器的回应(可以每台机器都测试一下:使用Ctrl + C结束)。

3.在slave1和slave2 上也修改hosts文件,追加内容和步骤1的内容相同,然后重复步骤2
八. 免密
1.生成公钥密钥对
ssh-keygen
在root目录下输入:ll-a 可以查看当前目录下的所有文件(包含隐藏文件)。
然后进入.ssh隐藏目录,输入ls 命令,如图所示:

2.将子节点的公钥拷贝到主节点并添加进authorized_keys

3.测试是否成功

1.下载jdk安装包和hadoop3.1.4
下载JDK地址 : https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.将本地的jdk安装包上传到/opt/software系统中
3.进入/opt/software目录下,解压jdk安装包到/opt/module

4.配置环境变量
vi /etc/profile.d/my_env.sh
刷新环境变量
source /etc/profile
使用命令测试jdk环境变量的配置

使用命令测试hadoop环境变量的配置

将第一台机子master上的jdk和hadoop的软件包及环境变量配置文件,传给slave1和slave2
三台机子都需要刷新环境变量生效
source /etc/profile
更多推荐







所有评论(0)