Spark，上传文件
上传文件
1.上传
先使用命令打开HDFS的NameNode
[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh
[root@hadoop100 hadoop-3.1.3]$ sbin/stop-dfs.sh
和YARN的Job
[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh
[root@hadoop101 hadoop-3.1.3]$ sbin/stop-yarn.sh
在NameNode上上传<128M文件时可直接上传当文件>128M时会将这个大文件拆分为多个小文件上传
随机创建一个小文件在NameNode上上传操作如下：
在FinalShell上用命令上传文件就是
上传小文件（小于128M）
[root@hadoop100 ~]$ hadoop fs -mkdir /input
[root@hadoop100 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
上传大文件（大于128M）
[root@hadoop100 ~]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
上传的文件下载下来…可直接在页面上下载
2.在yarn上查看上传的文件
[root@hadoop101 ~]$ cd /opt/modele/hadoop-3.1.3
[root@hadoop101 ~]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output
刷新yarn即可查看
