大数据之常用Linux操作

一、 修改文件夹的所有者和所属组均为test用户

chown test:test /opt/文件夹名称

二、使用rsync同步文件

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname

三、配置环境变量

3.1、配置JDK环境变量

新建/etc/profile.d/my_env.sh文件

vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

让新的环境变量生效

source /etc/profile

验证环境变量是否配置成功

java -version

如果不生效，重启系统

reboot

3.2、配置Hadoop环境变量

按JDK配置步骤一样，在my_env.sh中添加如下内容：

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

四、测试磁盘的读写性能

安装fio

yum install -y fio

测试磁盘性能

sudo fio -filename=/home/atguigu/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r

结果（磁盘的总体顺序写速度为82.2MiB/s）