hadoop的MapReduce提交任务到yarn实操

1.计算单词数:

   一:创建文件夹供放入要计算的文件   hadoop fs -mkdir -p /input

   二:创建计算结果输出的文件夹   hadoop fs -mkdir -p /output

    三:向hdfs文件系统提交要计算的文件:  hadoop fs -put ./word.txt /input/

    四:运行jar包:

命令:hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount hdfs://wtk:8020/input hdfs://wtk:8020/output/wc

(红色为必须,后面跟着运行程序名(自己定),后面跟着文件路径和计算结果存放路径)

    五:yarn查看程序资源

    六:hdfs文件系统检查

OK的,没问题

2.计算pi值:

      一:命令: hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar pi  3 1000

    二:yarn查看资源调度(加上查看日志)

发现logs端口号在19888

    三:查看计算结果: