linux及hdfs常用命令

Linux常用命令：

1. cd：切换目录。例如，cd /usr/local 进入/usr/local目录。
2. ls：列出目录内容。例如，ls -l 显示目录详细信息。
3. cp：复制文件或目录。例如，cp file1 file2 将file1复制为file2。
4. mv：移动文件或目录。例如，mv file1 dir1 将file1移动到dir1目录中。
5. rm：删除文件或目录。例如，rm file1 删除file1文件。
6. mkdir：创建目录。例如，mkdir dir1 创建名为dir1的目录。
7. rmdir：删除目录。例如，rmdir dir1 删除名为dir1的目录。
8. touch：创建空文件。例如，touch file1 创建名为file1的空文件。
9. cat：查看文件内容。例如，cat file1 查看file1文件的内容。
10. less/more：分页查看文件内容。例如，less file1 逐页查看file1文件的内容。
11. grep：在文件中搜索指定字符串。例如，grep “keyword” file1 在file1文件中搜索包含”keyword”的字符串。
12. find：在文件系统中搜索文件。例如，find / -name “file1” 在根目录下搜索文件名为”file1″的文件。

HDFS常用命令：

1. hdfs dfs -mkdir：创建HDFS目录。例如，hdfs dfs -mkdir /user/hadoop 创建/user/hadoop目录。
2. hdfs dfs -ls：列出HDFS目录内容。例如，hdfs dfs -ls /user/hadoop 显示/user/hadoop目录的内容。
3. hdfs dfs -put：将本地文件上传到HDFS。例如，hdfs dfs -put file1 /user/hadoop 将file1文件上传到HDFS的/user/hadoop目录下。
4. hdfs dfs -get：将HDFS文件下载到本地。例如，hdfs dfs -get /user/hadoop/file1 下载/user/hadoop目录下的file1文件到本地。
5. hdfs dfs -rm：删除HDFS文件或目录。例如，hdfs dfs -rm /user/hadoop/file1 删除/user/hadoop目录下的file1文件。
6. hdfs dfs -cat：查看HDFS文件内容。例如，hdfs dfs -cat /user/hadoop/file1 查看/user/hadoop目录下的file1文件的内容。
7. hdfs dfs -du：查看HDFS文件大小。例如，hdfs dfs -du /user/hadoop 显示/user/hadoop目录下所有文件的大小。
8. hdfs dfs -mv：移动HDFS文件或目录。例如，hdfs dfs -mv /user/hadoop/file1 /user/hadoop/dir1 将/user/hadoop目录下的file1移动到dir1目录中。
9. hdfs dfs -getmerge：合并HDFS文件到本地。例如，hdfs dfs -getmerge /user/hadoop/dir1 dir1.txt 合并/user/hadoop/dir1目录下所有文件到本地的dir1.txt文件中。
10. hdfs dfs -chown：更改HDFS文件或目录的所有者。例如，hdfs dfs -chown hadoop: hadoop /user/hadoop/file1 将/user/hadoop目录下的file1文件的所有者改为hadoop。

以上是Linux和HDFS常用命令的简要介绍，根据实际需求可以进一步了解命令用法和参数选项以及其他更多命令。

Linux常用命令：
1. cd：切换当前目录
2. ls：查看目录中的文件和子目录
3. pwd：显示当前所在目录的路径
4. mkdir：创建新的目录
5. touch：创建新的空文件
6. cp：复制文件或目录
7. rm：删除文件或目录
8. mv：移动文件或重命名文件
9. cat：查看文件内容
10. grep：搜索文件内容
11. chmod：修改文件权限
12. chown：修改文件的所有者
13. find：查找文件

HDFS常用命令：
1. hdfs dfs -ls：列出HDFS上的文件和目录
2. hdfs dfs -put：将本地文件上传到HDFS
3. hdfs dfs -get：将HDFS文件下载到本地
4. hdfs dfs -rm：删除HDFS上的文件或目录
5. hdfs dfs -mkdir：在HDFS上创建新的目录
6. hdfs dfs -copyFromLocal：将本地文件复制到HDFS
7. hdfs dfs -copyToLocal：将HDFS文件复制到本地
8. hdfs dfs -cat：查看HDFS文件的内容
9. hdfs dfs -chown：修改HDFS文件的所有者
10. hdfs dfs -chmod：修改HDFS文件的权限
11. hdfs dfs -du：查看目录或文件的大小
12. hdfs dfs -mv：将HDFS上的文件移动到其他目录或重命名文件
13. hdfs dfs -expunge：清空HDFS上的垃圾
14. hdfs dfsadmin -report：查看HDFS集群的状态和容量信息

这些命令是Linux和HDFS上最常用的命令，用于管理文件和目录、移动、复制、删除文件、查看文件内容等操作。熟练掌握这些命令对于在Linux和Hadoop生态系统中进行文件管理和数据处理是非常重要的。

一、Linux常用命令：

1. 文件和目录操作命令：
– cd：切换当前目录
– ls：显示目录内容
– pwd：显示当前目录的绝对路径
– mkdir：创建目录
– touch：创建空文件
– cp：复制文件或目录
– mv：移动文件或目录
– rm：删除文件或目录
– cat：显示文件内容
– head：显示文件前几行
– tail：显示文件后几行
– grep：在文件中搜索指定字符串

2. 文件权限和用户管理命令：
– chmod：修改文件或目录的权限
– chown：修改文件或目录的所属用户和组
– chgrp：修改文件或目录的所属组
– useradd：创建用户
– usermod：修改用户属性
– passwd：修改用户密码

3. 文件压缩和解压缩命令：
– tar：打包、解压缩文件
– gzip：压缩文件
– gunzip：解压缩文件

4. 进程管理命令：
– ps：显示进程信息
– top：实时显示系统资源使用情况
– kill：终止进程

5. 网络管理命令：
– ifconfig：显示和配置网络接口信息
– ping：检测网络连通性
– ssh：远程登录其他主机
– scp：在网络之间传输文件

二、HDFS常用命令：

1. HDFS基本命令：
– hdfs dfs -ls：显示目录内容
– hdfs dfs -mkdir：创建目录
– hdfs dfs -touchz：创建空文件
– hdfs dfs -cp：复制文件或目录
– hdfs dfs -mv：移动文件或目录
– hdfs dfs -rm：删除文件或目录
– hdfs dfs -cat：显示文件内容
– hdfs dfs -head：显示文件前几行
– hdfs dfs -tail：显示文件后几行
– hdfs dfs -get：从HDFS中下载文件
– hdfs dfs -put：上传文件到HDFS

2. HDFS权限管理命令：
– hdfs dfs -chmod：修改文件或目录的权限
– hdfs dfs -chown：修改文件或目录的所属用户
– hdfs dfs -chgrp：修改文件或目录的所属组

3. HDFS文件压缩命令：
– hdfs dfs -text：查看压缩文件内容
– hdfs dfs -getmerge：合并压缩文件

4. HDFS监控和维护命令：
– hdfs dfsadmin -report：显示集群的状态和容量信息
– hdfs dfsadmin -safemode：进入或退出安全模式
– hdfs fsck：修复HDFS文件系统中的错误

5. HDFS集群管理命令：
– hdfs dfsadmin -refreshNodes：刷新节点列表
– hdfs namenode -format：格式化NameNode

以上是Linux和HDFS的一些常用命令，在日常工作中经常会使用到，通过这些命令可以完成对文件和目录的操作、权限管理、压缩和解压缩以及集群管理等任务。