2018/7/12 23:00:26当前位置媒体热门新闻热点浏览文章

转载请务必注明原创地址为:https://dongkelun.com/2018/03/23/hadoopConf/

前言

因为现在要使用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不可以使用了,后来使用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一下hadoop+hive的单机部署,以便自己可以进行简单的学习,这里记录一下,原本想把hadoop和hive的放在一起写,因为太多,就分成两篇写了。

1、首先安装配置jdk(我安装的1.8)

2、下载hadoop

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/,我下载的是hadoop-2.7.5.tar.gz
(因为我之前使用的2.7.1是几年前下载保存在本地的,现在发现之前在配置spark那篇写的那个hadoop下载地址较慢,所以改成这个地址)

3、解压到/opt目录下(目录根据自己习惯)

tar -zxvf hadoop-2.7.5.tar.gz  -C /opt/

4、配置hadoop环境变量

vim /etc/profile
export HADOOP_HOME=/opt/hadoop-2.7.5export PATH=$PATH:$HADOOP_HOME/bin  
source /etc/profile

5、配置hadoop

5.1 配置hadoop-env.sh

vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

找到# The java implementation to use.将其下面的一行改为:

export JAVA_HOME=/opt/jdk1.8.0_45

5.2 配置core-site.xml (5.2和5.3中配置文件里的文件路径和端口随自己习惯配置)

其中的IP:192.168.44.128为虚拟机ip,不可以设置为localhost,假如使用localhost,后面在windows上使用saprk连接服务器(虚拟机)上的hive会报异常(win读取的配置也是localhost,这样localhost就为win本地ip了~也能给ip加个映射,不过由于单机的我就没加)。

vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml
<configuration><property>        <name>hadoop.tmp.dir</name>        <value>file:///opt/hadoop-2.7.5</value>        <description>Abase for other temporary directories.</description>    </property>    <property>        <name>fs.defaultFS</name>        <value>hdfs://192.168.44.128:8888</value>    </property></configuration>

5.3 配置hdfs-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
<configuration>        <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>        <name>dfs.namenode.name.dir</name>        <value>file:///opt/hadoop-2.7.5/tmp/dfs/name</value>    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>file:///opt/hadoop-2.7.5/tmp/dfs/data</value>    </property></configuration>

6、SSH免密码登录

参考:linux ssh 免密登录

7、启动与中止

第一次启动hdfs需要格式化:

cd /opt/hadoop-2.7.5./bin/hdfs namenode -format  

Re-format filesystem in Storage Directory /opt/hadoop-2.7.5/tmp/dfs/name ? (Y or N)
输入:Y
(出现讯问输入Y or N,一律输Y就可)
启动:

./sbin/start-dfs.sh

中止:

./sbin/stop-dfs.sh
image

验证,浏览器输入:http://192.168.44.128:50070

image

简单的验证hadoop命令:

hadoop fs -mkdir /test

在浏览器查看,出现如下图所示,即为成功


image

8、配置yarn

8.1 配置mapred-site.xml

cd /opt/hadoop-2.7.5/etc/hadoop/cp mapred-site.xml.template mapred-site.xmlvim mapred-site.xml
<configuration>    <!-- 通知框架MR用YARN -->    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

8.2 配置yarn-site.xml

vim yarn-site.xml
<configuration>    <!-- reducer取数据的方式是mapreduce_shuffle -->    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>

8.3 yarn启动与中止

启动:

cd /opt/hadoop-2.7.5./sbin/start-yarn.sh  
./sbin/stop-yarn.sh 

浏览器查看:http://192.168.44.128:8088


image

jps查看进程


image
到此,hadoop单机模式就配置成功了!

参考资料

https://blog.csdn.net/cafebar123/article/details/73500014

网友评论