HDFS在Linux中操作命令
HDFS简介
1,HDFS概念:
分布式⽂件系统
(1)⽂件系统:存储⽂件,⽬录树定位⽂件 hdfs://master:9000/soft/hadoop-2.6.5-centos-6.
(2)分布式:服务器集,各个服务器都有各⾃清晰的⾓⾊定位
功能:解决海量数据的存储问题
2,设计思路
(1)分⽽治之
⼤⽂件切分成⼩⽂件,多台服务器共同管理⼀个⽂件
⼩⽂件做备份,分散存储到不同的服务器上,做到可靠性不丢失
(2)HDFS设计思想
韩再芬简介3,HDFS架构
4,HDFS特点
优点:
(1)构建在廉价的机器上
a: 通过多副本提⾼可靠性
b: 提供了容错和恢复机制
(2)⾼容错性
a. 数据⾃动保存多个副本
b. 副本丢失后,⾃动恢复
a. 移动计算⽽⾮移动数据
b. 数据位置暴露给计算框架
(4)适合⼤数据处理
a. 能够处理GB、 TB、甚⾄ PB 级数据
b. 能够处理百万规模以上的⽂件数量, 10K+节点规模性价比高的家用suv
(5)流式⽂件访问
a. ⼀次性写⼊,多次读取。⽂件⼀旦写⼊,不能修改,只能追加
b. 保证数据⼀致性
缺点:
(1)不善于处理低延迟数据访问
a. ⽐如毫秒级的数据存储,它是做不到的
b. 适合⾼吞吐率的场景,就是在某⼀个时间写⼊⼤量的数据
(2)不善于处理⼩⽂件存取
a. 占⽤ NameNode ⼤量内存,NameNode 的内存是有限的
b. ⼩⽂件存储的寻道时间超过⽂件读取时间,这违背了 HDFS 的设计原则
(3)不⽀持并发写⼊、⽂件随机修改
a. ⼀个⽂件只能有⼀个写者
谭松韵家世b. 仅⽀持⽂件的追加(append),不⽀持⽂件的随机修改
HDFS的shell(命令⾏客户端)操作
1,Hadoop集管理脚本
Hadoop 安装⽬录 bin ⽬录下的 hadoop 脚本是最基础的集管理脚本,⽤户可以通过该脚本完成各种功能,如 HDFS ⽂件管理、MapReduce 作业管理等。
使⽤⽅式:hadoop [–config confdir] COMMAND
<–config:是⽤于设置 Hadoop 配置⽂件⽬录,默认⽬录为 ${HADOOP_HOME}/etc/hadoop/>
2,HDFS 管理命令 fs
在集正常运⾏的前提下,使⽤如下⽅法,进⾏ Shell 操作:
[shiny@hadoop01 ~]$ hadoop fs
[shiny@hadoop01 ~]$ hadoop fs -help
展⽰的是 HDFS ⽀持的命令⾏参数:
注意:
开始使⽤命令前,必须启动 Hadoop。
以上指令均是在 Linux 命令⾏窗⼝界⾯操作。
[ ]表⽰可选参数,<>表⽰必须参数。
3,常⽤命令参数介绍
1,帮助:
hadoop fs -help
hadoop fs -help ls
1
2
3
2,HDFS上操作⽂件或⽂件夹
-ls 显⽰⽬录信息
hadoop fs -ls hdfs://hadoop01:9000/
Hadoop fs -ls /
-mkdir zaiHDFS上创建⽬录
hadoop fs -mkdir /abc <;单级创建》
hadoop fs -mkdir -p 123/as
-cp 从 HDFS 的⼀个路径复制到 HDFS 的另外⼀个路径
hadoop fs -cp /abc/** /123/abc
-mv 在 HDFS ⽬录中移动⽂件
hadoop fs -mv / /123/abc/
-rm 删除HDFS上的⽂件或者⽂件夹
hadoop fs -rm / <;删除HDFS上的⽂件>
hadoop fs -rm -r /123/as <;删除HDFS上的⽂件夹>
-rmdir 删除HDFS上的空⽬录
hadoop fs -rmdir /123
3,上传和下载⽂件
-put 等同于copyFromLocal,从本地上传⽂件到HDFS
hadoop fs -put hadoop-2.6.5
hadoop fs -copyFromLocal hadoop-2.6.5
-get 等同于copyToLocal,从HDFS下载⽂件到本地
hadoop fs -get hadoop1<⽂件路径> ./<;下载到的路径>
hadoop fs -copyToLocal / Desktop/data/<;重命名>
-moveFromLocal 从本地剪切⽂件到HDFS
hadoop fs -moveFromLocal /home/theone/Desktop/software/ /abc
-moveToLocal 从HDFS剪切⽂件到本地
hadoop fs -moveToLocal / /home/theone/Desktop/software/data/
<;命令⽆法实现,数据不能被修改>
-appendToFile 追加⼀个⽂件内容到已经存在的⽂件末尾
hadoop fs - /
-getmerge 合并下载多个⽂件
hadoop fs -getmerge /abc/*.txt ./
孙骁骁 刘惜君4,查看⽂本内容
公积金购房-cat 显⽰⽂件内容
hadoop fs -cat /
-tail 显⽰⼀个⽂件最后1kb的内容
hadoop fs -tail /
-text 将 HDFS 中⽂件以⽂本形式输出(包括 gz 包、jar 包等形式)<⽤cat会乱码> hadoop fs -text /abc/hadoop-2.6.5
5,修改权限
-chmod 改变⽂件权限(命令的使⽤者必须是⽂件的所有者或者超级⽤户)
hadoop -chmod -R 600 /
王者模拟战-chown 改变⽂件的拥有者和所属组(命令的使⽤者必须是⽂件的所有者或者超级⽤户)hadoop -chown -R theone:theone /abc
6,统计 <## -h 以更易读的字节单位(K、M 等)显⽰信息>
-count 统计⼀个指定⽬录下的⽬录数、⽂件数和字节数。
hadoop fs -count -h /abc
-df 统计⽂件系统的可⽤空间信息
hadoop fs -df -h /abc
-du 统计⽂件夹的⼤⼩信息 <## -s 只统计参数所占⽤空间总的⼤⼩>
hadoop fs -du -h -s /abc
7,副本
发布评论