案
The Standardization Office was revised on the afternoon of December 13, 2020
Hadoop云计算平台搭建方案
一、平台搭建概述
总体思路
针对于电网企业在营销服务领域展开的大数据分析处理，搭建Hadoop云计算平台进行海量数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得到的新的模式，为电力企业的决策提供指导。平台采用作为海量数据存储和分析工具，将其部署在4个物理计算机节点上，搭建Hadoop集，其中1个节点作为master节点，其余3个作为slave节点。为了获取更好的稳定性，平台搭建在Linux系统（）环境下。
软件列表
平台搭建总流程和节点信息一览表
在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息有一个全局的认识，平台搭建总流程如下图所示。
各节点信息如下表所示：
如何搭建云平台
二、基础平台的搭建步骤
此次大数据存储和处理平台的搭建，需要4台物理节点来部署Hadoop 平台环境。我们使用虚拟机软件VMware Workstation 创建4台虚拟机，承载平台搭建工作。另外，由于对4台虚拟机的配置大部分是相同的，所以利用VMware Workstation 的克隆功能，可以减少部署的工作量。 安装虚拟机软件VMware Workstation
首先在4台
PC 机器上均安装虚拟化软件VMware Workstation ，并输入相应的序列号。
在master节点上安装Linux系统Ubuntu
在设定为master PC节点上首先安装Linux系统（版本为），在安装过程中为提高后期安装软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为“hadoop”的普通用户，设置统一的密码。安装完成后将系统的terminal命令窗口调出来，以便使用。
同时，为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文字复制粘贴以及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装VMare Tools工具，具体操作如下：
启动虚拟机，进入Ubuntu系统，在VM菜单栏“虚拟机(M)”的下拉菜单点击“安装VMare Tools(T)”后，会弹出一个“VMare Tools”文件夹，里面包含VMare Tools的安装包，将该安装包拷贝到/home/hadoop目录下，输入命令进行解压安装：tar xzvf 此时在/home/hadoop/目录下产生vmware-tools-distrib文件夹，进入该目录，通过在terminal终端输入相应命令，运行脚本：
cd /home/hadoop/vmware-tools-distrib
$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ocal/share/', but failed: No such file or directory
(gedit:2949): Gtk-WARNING **: Attempting to store changes into
`/root/.local/share/', but failed: Failed to create file '/root/.local/share/': No such file or directory
(gedit:2949): Gtk-WARNING **: Attempting to set the permissions of
`/root/.local/share/', but failed: No such file or directory
解决方法：只需直接在终端中输入命令：sudo mkdir -p /root/.local/share/ ，创建警告信息中所提示的目录即可。
若无视警告重启ubuntu后将会出现以下情况：输入密码无法进入系统，一直处于输入密码后又跳转回输入密码的界面。此时的解决方法是：在输入密码界面
同时按下alt+ctrl+F2进入ubuntu命令模式，并使用root用户及对应密码登陆系统，然后键入：/usr/bin/vi /etc/profile打开etc/profile文件，到最近在末尾加上的hadoop配置文件，按delete键删除这些行，然后键入命令:wq！（注意此处有冒号，不可省略）保存文件。然后同时按下ctrl+alt+del重启系统即可使系统恢复正常登陆，然后按照上述方法重新配置。
目录设置
在普通用户hadoop下创建hadoop的数据存储目录（若使用root用户创建上述文件夹则会因权限问题导致
无法向这些文件夹中写入并读取数据），可自行选择数据存储的路径，我们选择在/home/hadoop/文件夹下创建dfs和tmp作为数据存储与交换的目录，并在dfs文件夹下创建name和data两个子文件夹。分别执行命令：
（4）配置文件，打开该文件，在文件末尾添加以下语句。
发布评论