Hadoop完全分布式搭建(文件配置)
Hadoop完全分布式搭建(文件配置)
·
一共需要配置主要的7个文件
# vim hadoop-x.x.x/etc/hadoop/hadoop-env.sh
# vim hadoop-x.x.x/etc/hadoop/yarn-env.sh
# vim hadoop-x.x.x/etc/hadoop/mapred-env.sh
# vim hadoop-x.x.x/etc/hadoop/core-site.xml
# vim hadoop-x.x.x/etc/hadoop/hdfs-site.xml //可以确定文件的备份个数及数据文件夹的路径
# vim hadoop-x.x.x/etc/hadoop/yarn-site.xml //相关的job处理
# vim hadoop-x.x.x/etc/hadoop/mapred-site.xml
注意需要配置对的文件在/opt/hadoop-2.9.2/etc/hadoop下
完全分布式的安装
文件配置
① 配置 core-site.xml
<configuration>
<!-- 指定namenode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<!-- 用来指定使用hadoop时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop</value>
</property>
</configuration>
② 修改hdfs-site.xml
<configuration>
<!-- 设置hdfs副本数，不设置默认是3个 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 设置secondname的端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
· <value>slave1:50090</value>
</property>
</configuration>
③ 修改mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
④ 修改yarn-site.xml
<configuration>
<!-- namenodeManager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave2</value>
</property>
</configuration>
⑤ 修改slaves
# vim slaves
Master
slave1
slave2
⑥ 修改hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_11
⑦ 修改mapred-env.sh
export JAVA_HOME=/opt/jdk1.8.0_11
⑧ 修改yarn-env.sh
export JAVA_HOME=/opt/jdk1.8.0_11
⑨ 分发配置到节点中
# scp -r /opt/hadoop-2.9.2/ root@slave1:`pwd`
#`scp -r /opt/hadoop-2.9.2/ root@slave2:`pwd`
5. 启动集群
注意：如果集群是第一次启动，需要格式化namenode
# cd /opt/hadoop-2.9.2/etc/sbin
# hdfs namenode –format
启动HDFS
# start-dfs.sh
启动Yarn
注意：在slave2上启动Yarn
# start-yarn.sh
//注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn；
应该在ResouceManager所在的机器上启动yarn
查看启动进程
# jps更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)