⼀：环境搭建：VM、CentOS7安装及⽹络配置
⼤数据⼊门⾸先需要搭建环境，接下来的三篇⽂章均是环境搭建部分的内容。
⾸先我们要安装虚拟机及linux系统
⼀、安装虚拟机VM
官⽹下载VM虚拟机：这⾥下载的VMware-workstation-full-10.0.4，好像往后的⾼版本需要win系统为64
位，根据⾃⼰的需求下载安装。
⼆、安装CentOS7
1、官⽹下载：我下载的是CentOS-7-x86_64-DVD-1804.iso⽂件。
2、安装过程（略）：⾃⾏百度安装，按照步骤安装⽆问题，可根据需要选择最⼩化安装，安装⾄最后⼀步骤时最好创建⼀个⽤户。
3、复制出另外两台虚拟机，并对每台虚拟机命名为master、slave1、slave2。
三、⽹络配置
1、配置⽹络为NAT模式，三台均需要配置；
2、修改⽹卡配置，三台均需要修改
cd /etc/sysconfig/network-scripts
vim ifcfg-ens33
添加内容：IPADDR=192.168.198.21 //ip地址
添加内容：NETMASK=255.255.255.0
添加内容：GATEWAY=192.168.198.2 //⽹关
添加内容：DNS1=8.8.8.8
3、配置完成后重启⽹络服务
/etc/init.d/network restart 或
service network restart
4、测试访问外⽹是否通
curl www.baidu
ping www.baidu
5、分别⽤securecrt连接centos
5.1.如何安装及注册SecureCRT教程
五一放假2023年放几天5.2.如何⽤SecureCRT连接vm的虚拟机教程：
6、修改hosts
vim /etc/hosts
7、修改hostname
hostnamectl set-hostname master
使⽤这种⽅式修改，可以永久性的修改主机名称！
⼆：环境搭建：jdk1.8安装及环境配置
接下来就要安装在操作系统上运作的⼤数据核⼼hadoop分布式系统基础架构！Hadoop实现了⼀个分布式⽂件系统(Hadoop Distributed File System)，简称HDFS，Hadoop的框架最核⼼的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储，⽽MapReduce 为海量的数据提供了计算，因此安装完hadoop以后我们可以进⾏hdfs⽂件存储、访问，也可以进⾏mapreduce实践操作，真正体验户在不了解分布式底层细节的情况下，开发分布式程序，充分利⽤集的威⼒进⾏⾼速运算和存储。如果你对⼤数据开发感兴趣，想系统学习⼤数据的话，可以加⼊⼤数据技术学习交流扣扣：458数字345数字782，欢迎添加，私信管理员，了解课程介绍，获取学习资源
⾸先要明⽩：hadoop需要以下两个软件才能进⾏搭建
hadoop-2.6.
本⽂我们先安装java jdk1.8.0
⼀、设置共享⽂件夹
0. 安装vmware tools，在虚拟机中版本更新⾥⾯选取安装即可，若不成功，按如下安装：
1. mount /dev/cdrom/media 加载⽂件系统到指定的加载点，常⽤于挂在cdrom，使我们可以访问cdrom中的数据;
2. tar xvzf VmwareTools-9.6.2-/将安装⽂件夹拷贝⾄⾃⼰的⽬录中并解压;
3../vmware-install.pl进⼊解压好的⽬录后运⾏此安装命令;
4. vmware-hgfsclient查看共享⽬录此时应显⽰共享⽬录share-folder;
5. vmhgfs-fuse .host:/ /mnt/hgfs挂载⽬录;
6. cd /mnt/hgfs/share-folser进⼊⽬录。
⼆、安装jdk1.8
0. 从共享⽬录拷贝⾄安装⽬录并解压：
cp /usr/local/src
tar xvzf
伏羲氏是谁1. 设置环境变量
vim ~/.bashrc
添加java路径如下：
#java
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
2. 检查是否安装成功
java运⾏java；
which java查看java信息；
java -version查看java版本。
3. 拷贝解压包⾄slave1、slave2中并设置.bashrc⽂件
scp -rp jdk1.8.0-172 192.168.198.22:/usr/local/src/
scp -rp jdk1.8.0-172 192.168.198.23:/usr/local/src/
.bashrc⽂件配置和master中⼀样！
4. 分别检查三台机器都能运⾏java
⾄此java安装完成！
三、先安装⼀些依赖包
yum -y update #更新yum包
yum install -y vim
yum install -y net-tools
yum install -y gcc
yum install -y prel
yum install -y kernel-headers
三：环境搭建：Hadoop2.0安装及配置
⾸先要明⽩：hadoop需要以下两个软件才能进⾏搭建
hadoop-2.6.
（上篇已介绍）
⼀、安装Hadoop2.6.1并配置
0. 下载安装包⾄共享⽬录：
琢磨的近义词语1.cp hadoop-
2.6. /usr/local/src拷贝安装包；
2.tar xvzf hadoop-2.6.解压；
3. 创建临时⽬录及⽂件⽬录：
mkdir /usr/local/src/hadoop-2.6.1/tmp
mkdir /usr/local/src/hadoop-2.6.1/dfs/name
mkdir /usr/local/src/hadoop-2.6.1/dfs/data
4. 修改hadoop配置⽂件：
cd /usr/local/src/hadoop-2.6.1/etc/hadoop
1) vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
胡杏儿晒比基尼照2) vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
3) vim slaves
slave1
slave2
4) l
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.198.21:9000</value>
</property>
<property>
<name&p.dir</name>
上海前十装修公司<value>file:/usr/local/src/hadoop-2.6.1/tmp</value> </property>朴有天被捕
</configuration>
5) l
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>
</property>
<property>
<name&pliction</name>
<value>2此处设置为2⽐较合适，因为从节点为2个
</property>
</configuration>
6) l（注：此⽂件需⾃⼰创建，不能⽤plate）<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7) l
<configuration>
<property>
<name&demanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name&demanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name&sourcemanager.address</name>
发布评论