前⾔
本⽂安装的 Hadoop 及 Java 环境基于林⼦⾬⽼师的《⼤数据技术原理与应⽤(第3版)》中所要求,其中 Java 版本为
1.8.0_301,Hadoop 版本为3.
2.2,其他版本的安装请参考其他博客。
Hadoop 单机安装基本配置主要包括以下⼏个步骤:
创建 Hadoop ⽤户
更新 apt 和安装 Vim 编辑器
安装 SSH 和配置 SSH ⽆密码登录
安装 Java 环境
安装单机 Hadoop
这⾥我的操作系统环境是 Ubuntu20.04,此安装⽅法同样适⽤于低版本。
⼀、创建Hadoop⽤户
创建⽤户命令如下:
sudo useradd -m hadoop -s /bin/bash
接着为 hadoop ⽤户设置密码,建议三位数,不⽤太长也要便于记忆:
sudo passwd hadoop
然后为 hadoop ⽤户增加管理员权限:
sudo adduser hadoop sudo
切换⽤户为hadoop登录!
⼆、更新apt和安装Vim编辑器
⾸先更新 apt:
sudo apt-get update
接着安装 Vim 编辑器:
sudo apt-get install vim
若电脑已安装则可跳过此步骤。
ubuntu安装教程三、安装SSH和配置SSH⽆密码登录
Ubuntu 操作系统下默认已安装了 SSH 客户端,因此这⾥我们只需安装 SSH 服务端:sudo apt-get install openssh-server
安装后,可使⽤以下命令登录本机:
ssh localhost
输⼊ yes 与⽤户密码,就可以登录到本机,详细输出如下:
zq@fzqs-computer [11时22分50秒] [/home/hadoop/Downloads]
-> % ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is SHA256:YMFv60J4eT7***c3SA8sfuXU.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
zq@localhost's password:
Welcome to Ubuntu 20.04.3 LTS (GNU/Linux 5.11.0-36-generic x86_64)
0 updates can be applied immediately.
Your Hardware Enablement Stack (HWE) is supported until April 2025.
The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.
Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law.
接着我们退出 SSH 登录,
exit
配置⽆密码登录:
cd ~/.ssh/
ssh-keygen -t rsa
注意这⾥第⼆步要你输⼊⽂件名时不⽤输⼊,直接⼀路 Enter 选择默认值就好了!
cat ./id_rsa.pub >> ./authorized_keys
此时再⽤ ssh localhost 命令⽆需密码即可登录了。
四、安装Java环境
1. 安装JDK
对于 Hadoop3.1.3 及以上版本⽽⾔,需要使⽤ JDK1.8 或者更新的版本,这⾥我们使⽤的 JDK 版本为1.8.0_301,安装包可以从Oracle 官⽹下载:,Java官⽹安装⿇烦
也可从我的百度⽹盘下载:
提取码:2g4c
接着在 /usr/lib ⽬录下创建 jvm ⽂件夹来保存 JDK ⽂件:
cd /usr/lib
sudo mkdir jvm
解压缩之前的 JDK ⽂件到上述⽬录中:
cd ~/Downloads
sudo tar -zxvf ./ -C /usr/lib/jvm
2. 配置JDK环境
使⽤ gedit 编辑器编辑环境变量:
sudo gedit ~/.bashrc
在⽂件末尾处添加以下⼏⾏内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存并退出,接着使我们刚加⼊的环境变量⽣效:
source ~/.bashrc
3. 检验安装
输⼊以下命令:
java -version
若出现如下输出则说明安装成功:
hadoop@fzqs-computer:~$ java -version
java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)
五、安装单机Hadoop
1. 下载安装Hadoop
下载地址:,这⾥官⽹下载较快,但注意不要下载 src 源码包!
这⾥我安装的 Hadoop 版本为3.2.2,下载好后,执⾏以下命令安装:
sudo tar -zxf ~/Downloads/hadoop-3.2. -C /usr/local
修改⽬录名称:
cd /usr/local
sudo mv ./hadoop-3.2.2/ ./hadoop
赋予可执⾏权限:
sudo chown -R hadoop ./hadoop
进⼊ hadoop ⽂件夹,查看安装的 Hadoop 版本信息:
cd ./hadoop
./bin/hadoop version
hadoop@fzqs-computer:/usr/local/hadoop$ ./bin/hadoop version
若出现如上输出,则说明 Hadoop 安装成功。
2. 运⾏⽰例
⾸先在 Hadoop 安装⽬录下新建 input ⼦⽬录:
cd /usr/local/hadoop
sudo mkdir input
复制 “/usr/local/hadoop/etc/hadoop” 中的配置⽂件到 input ⽬录下:
sudo cp ./etc/hadoop/*.xml ./input
切换 root ⽤户 :
su
执⾏以下代码运⾏ Grep ⽰例:
./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep ./input ./output 'dfs[a-z.]+'执⾏完后,输⼊以下命令查看输出结果:
cat ./output/*
hadoop@fzqs-computer:/usr/local/hadoop$ cat ./output/*
1 dfsadmin
总结
发布评论