Educoder分布式⽂件系统HDFS实验总结答案
⽬录
⼀、HDFS的基本操作
1.HDFS的设计
当数据集的⼤⼩超过⼀台独⽴的物理计算机的存储能⼒时，就有必要对他进⾏分区存储到若⼲台单独的计算机上，管理⽹络中跨多台计算机存储的⽂件系统称为分布式⽂件系统（Distributed FileSystem）。
Educoder 分布式⽂件系统HDFS 实验总结 答案
Hadoop⾃带⼀个称为HDFS的分布式⽂件系统，即（Hadoop Distributed FileSystem）。
NameNode与DataNode：
HDFS有两类节点来管理集的数据，即⼀个namenode（管理节点）和多个datanode（⼯作节点）。namenode管理⽂件系统的命名空间，它维护着系统树及整棵树所有的⽂件和⽬录，这些信息以两个形式永久保存在本地磁盘上：命名空间镜像⽂件和编辑⽇志⽂
件，namenode也记录着每个⽂件中各个块所在的数据节点信息，但他并不永久保存块的位置信息，因为这些信息会在系统启动时根据节点信息重建。
客户端（client）代表⽤户通过与namenode和datanode交互来访问整个系统。客户端提供⼀个类似POSIX（可移植操作系统界⾯）的⽂件系统结构，因此⽤户编程时⽆需指导namenode和datanode也可以实现功能。
datanode是⽂件系统的⼯作节点，他们根据需要存储并检索数据块（blocks），并且定期向namenode发送他们所存储的数据块的列表。
我们现在将咱们的⼤数据机房设想成⼀个⼤仓库，仓库很⼤，有⼀本账单记录着仓库所有货架的商品，每⼀个货架上都放了很多货物，不过这些货物有⼀个特点，即⼤⼩都⼀致，并且货架也有⼀个本货架的清单，记录着本货架的商品，每当货架中的货物有变动，这个清单也会⼀起变，并且还会记录在主清单中。 在这⾥，namenode就类似仓库的主账单（保存了所有货物的记录），datanode就像是货架的清单（保存了本货架的物品记录），每个货架上的每⼀个货物就是数据块，数据块的⼤⼩是固定的（默认是128M）。
2.HDFS的常⽤命令
新建⽬录：
mkdir /develop
mkdir /develop/input
mkdir /develop/output
上传⽂件⾄HDFS：
韩国演艺圈悲惨事件名单 #创建要上传的⽂件
#上传⽂件命令格式：hadoop fs -put <；上传的⽂件> <hdfs⽬录>
hadoop fs - /usr/output
查看上传到hdfs的⽂件：
hadoop fs -cat /usr/
移动与删除：
#列出hdfs中的⽬录和⽂件：
hadoop fs -ls /user/hadoop
hadoop fs -ls /
#移动
hadoop fs -mv /usr/ /
#删除
hadoop fs -rm /
#递归删除
hadoop fs -rm -r /dir1 #hadoop fs -rmr /dir1 也可⾏
其他常⽤命令：
选项名称使⽤格式含义
-ls-ls <；路径>查看指定路径的当前⽬录结构-lsr-lsr <；路径>递归查看指定路径的⽬录结构-du-du <；路径>统计⽬录下个⽂件⼤⼩
-dus-dus <；路径>汇总统计⽬录下⽂件(夹)⼤⼩-count-count [-q] <；路径>统计⽂件(夹)数量
-mv-mv <；源路径> <⽬的路径>移动
-cp-cp <；源路径> <⽬的路径>复制
-rm-rm [-skipTrash] <；路径>删除⽂件/空⽩⽂件夹-rmr-rmr [-skipTrash] <；路径>递归删除
-put-put <；多个 linux 上的⽂件> <hdfs 路径>上传⽂件
-copyFromLocal-copyFromLocal <；多个 linux 上的⽂件><hdfs 路径>从本地复制
-moveFromLocal-moveFromLocal <；多个 linux 上的⽂件><hdfs 路径>从本地移动
-getmerge-getmerge <；源路径> <linux 路径>合并到本地
-cat-cat <hdfs 路径>查看⽂件内容
-text-text <hdfs 路径>查看⽂件内容
-copyToLocal-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路径] [linux ⽬的路径]从HDFS复制到本地-moveToLocal-moveToLocal [-crc] <hdfs 源路径> <linux⽬的路径>从HDFS移动到本地-mkdir-mkdir <hdfs 路径>创建空⽩⽂件夹
-setrep-setrep [-R] [-w] <；副本数> <；路径>修改副本数量
-touchz-touchz <⽂件路径>创建空⽩⽂件
实验答案：
start-dfs.sh #启动hadoop
hadoop fs -mkdir /usr
hadoop fs -mkdir /usr/output
#新建后输⼊“HDFS的块⽐磁盘的块⼤，其⽬的是为了最⼩化寻址开销。”
hadoop fs - /usr/output
hadoop fs -rm -r /user/hadoop
hadoop fs -copyToLocal /usr/ /usr/local
⼆、HDFS-JAVA接⼝之读取⽂件
使⽤HDFS的Java接⼝进⾏⽂件的读写
1.FileSystem对象
假设在hdfs⽂件系统中存在/user/⽂件。然后我们编写读取该⽂件的代码：
public sattic void main(String[] args){
//uri
URI uri = ate("hdfs://localhost:9000/user/");
Configuration config = new Configuration();
//通过uri和config对象构建fs对象
FileSystem fs = (uri, config);
InputStream in = null;
try {
//通过open⽅法获取FSDataInputStream对象
in = fs.open(new Path(uri));
//输出数据
} catch (Exception e) {
IOUtils.closeStream(in);
}
}
实验要求：
使⽤FSDataInputStream获取HDFS的/user/hadoop/⽬录下的的⽂件内容，并输出，其中uri为
hdfs://localhost:9000/user/。
实验答案：
package step2;
import java.io.IOException;
import java.io.InputStream;
import java.URI;
import org.f.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class FileSystemCat {
public static void main(String[] args) throws IOException {
//请在Begin-End之间添加你的代码，完成任务要求。
/********* Begin *********/
URI uri = ate("hdfs://localhost:9000/user/");九月九日是纪念谁的节日
Configuration config = new Configuration();
FileSystem fs = (uri, config);
InputStream in = null;
try{
in = fs.open(new Path(uri));
}catch(Exception e){
IOUtils.closeStream(in);
}
/********* End *********/
}
}
注意：在点击“测评”之前要先切换到命令⾏界⾯，然后输⼊start-dfs.sh命令启动hadoop。
三、HDFS-JAVA接⼝之上传⽂件
实验要求：
在/develop/input/⽬录下创建⽂件，并输⼊如下数据： 迢迢牵⽜星，皎皎河汉⼥。 纤纤擢素⼿，札札弄机杼。 终⽇不成
章，泣涕零如⾬。 河汉清且浅，相去复⼏许？ 盈盈⼀⽔间，脉脉不得语。 《迢迢牵⽜星》使⽤FSDataOutputStream对象将⽂件上传⾄HDFS的/user/tmp/⽬录下，并打印进度。实验答案：
命令⾏命令：
start-dfs.sh
mkdir -p /develop/input
cd /develop/input
#新建该⽂件后然后输⼊题⽬要求的这⾸诗。
hadoop fs -mkdir /user/tmp
FileSystemUpload.java：
package step3;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.URI;
import java.io.File;
import org.f.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class FileSystemUpload {
public static void main(String[] args) throws IOException {
//请在 Begin-End 之间添加代码，完成任务要求。
/********* Begin *********/
File localPath = new File("/develop/");
String hdfsPath = "hdfs://localhost:9000/user/";水母怎么养
InputStream in = new BufferedInputStream(new FileInputStream(localPath));
Configuration config = new Configuration();
FileSystem fs = (ate(hdfsPath),config);
long fileSize = localPath.length() > 65535 ? localPath.length() / 65535 : 1;
FSDataOutputStream out = fs.create(new Path(hdfsPath), new Progressable(){
long fileCount = 0;
沈佳欣public void progress(){
System.out.println("总进度"+(fileCount / fileSize) * 100 + "%");
fileCount++;
}
});
/********* End *********/
}
}
四、HDFS-JAVA接⼝之删除⽂件o型腿穿什么裤子
发布评论