Hadoop-3.2.1环境搭建(1)_单机模式

说明:

平台基于CentOS 7.x操作系统。用户名及软件安装目录如下:

环境 设置或路径
用户名 hduser
用户主目录 /home/hduser
软件安装包位于 /home/hduser/software
软件安装位置 /home/hduser/bigdata/

一、安装和配置JDK

将提前下载的"jdk-8u181-linux-x64.tar.gz"安装包,拷贝到CentOS中的"~/software"目录下 ;

1、使用如下命令,进入到"/usr/local"目录下:

$ cd /usr/local

2、在"/usr/local"目录下,将刚才的jdk拷贝到当前目录下:

$ sudo cp ~/software/jdk-8u181-linux-x64.tar.gz ./

3、解压缩"jdk-8u181-linux-x64.tar.gz"安装包到"/usr/local/"目录下:

$ sudo tar -zxvf jdk-8u181-linux-x64.tar.gz

4、配置环境变量

  首先,打开配置文件(如果未安装nano编辑器,可以使用vim编辑器打开):

$ sudo nano/etc/profile

  在打开的”/etc/profile”文件中,最后一行的后面一行,添加如下内容(注意,标点符号全都要是英文半角):

export JAVA_HOME=/usr/local/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

  然后保存。

5、执行”/etc/profile”文件,让配置生效:

$ source /etc/profile

6、验证JDK环境变量是否配置正确:

$ javac -version
$ java -version

二、安装Hadoop

1、将hadoop安装包"hadoop-3.2.1.tar.gz",拷贝到CentOS中的"~/software/"目录下 。

2、将Hadoop压缩包,解压缩到用户主目录的bigdata目录下 :

$ cd ~
$ mkdir bigdata
$ cd bigdata
$ tar -zxvf ~/software/hadoop-3.2.1.tar.gz

3、打开"/etc/profile"配置文件,配置hadoop环境变量(注意,标点符号全都要是英文半角):

export HADOOP_HOME=/home/hduser/bigdata/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

  然后保存。

4、执行"/etc/profile",让配置生效:

$ source /etc/profile

5、测试hadoop安装:

$ hadoop version

三、在Hadoop上执行MR程序

1、进入到程序.jar包所在的目录:

$ cd ~/bigdata/hadoop-3.2.1/share/hadoop/mapreduce

2、执行如下命令,运行MR程序:

$ hadoop jar hadoop-mapreduce-examples-3.2.1.jar pi 10 20

3、在输出内容中,可以找到计算出的PI值。


《Spark原理深入与编程实战》