十七、如何将MapReduce程序提交到YARN运行
2023-12-17 05:01:12
1、启动某个节点的某一个用户
hadoop@node1:~$ jps
13025 Jps
hadoop@node1:~$ yarn --daemon start resourcemanager
hadoop@node1:~$ jps
13170 ResourceManager
13253 Jps
hadoop@node1:~$ yarn --daemon start nodemanager
hadoop@node1:~$ jps
13170 ResourceManager
15062 Jps
14890 NodeManager
2、常见程序
3、?提交实例
(1)使用自带程序提交
(2)?语法
? ? ? ? 此处需要注意,对于有返回值的程序,需要指定程序参数。
(3)明确命令jar命令所在目录
/export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar
? ? ? ? 对于这些Hadoop内置的程序,他们都存储在hadoop-mapreduce-examples-3.3.6.jar中,如wordcount单词计数程序、pi求圆周率程序。
(4)执行wordcount程序(默认文件已经上传到hdfs文件系统)
~前提? ? ? ??
首先,明确wordcount程序有返回值,所以需要指定程序参数:
[程序参数]:参数1是数据输入路径(hdfs://node1:8020/input/wordcount/)
[程序参数]:参数2是结果输出路径(hdfs://node1:8020/output/wc1),需要确保输出的文件夹不存在,否则会报错
~执行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/some
~查看结果
????????执行完成后,查看some文件夹,可以看到some文件夹中存在两个子文件,第一个文件的文件名的最后一个单词,代表了本次程序运行是否成功,第二个文件存放着程序运行之后的结果。
hadoop@node1:~$ hdfs dfs -ls hdfs://node1:8020/output/some
Found 2 items
-rw-r--r-- 3 hadoop supergroup 0 2023-12-16 22:37 hdfs://node1:8020/output/some/_SUCCESS
-rw-r--r-- 3 hadoop supergroup 351 2023-12-16 22:37 hdfs://node1:8020/output/some/part-r-00000
????????程序运行之后的结果为:
hadoop@node1:~$ hdfs dfs -cat hdfs://node1:8020/output/some/part-r-00000
Because 1
Hello,my 1
I 7
I'll 1
If 1
Now 1
XX 1
XXX. 1
a 2
am 1
best 1
bird. 1
blue 1
can 2
chance 1
child. 1
come 1
day 1
do 1
dream 2
everything 1
fly 1
graduatedfrom 1
have 2
i 1
in 1
is 1
it 1
job. 2
like 1
love 1
make 1
my 1
name 1
old.I 1
one 1
since 1
sky 1
some 3
take 1
that 1
the 3
this 2
to 2
true. 1
try 1
was 1
well. 1
years 1
yjbys. 1
(5)在Hadoop提供的Web页面上查看
~点击程序名
~查看详细信息
~查看运行日志
~map 和 reduce任务历史查看
文章来源:https://blog.csdn.net/2301_79149013/article/details/135038789
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!