运行Hadoop中MapReduce自带的WordCount程序

2023-12-25 10:35:40

执行wordcount程序（词频统计）

  • 创建目录，保存MapReduce的输入文件
hadoop fs -mkdir /wcinput
  • 创建目录，保存MapReduce的输出文件
hadoop fs -mkdir /wcoutput

因为Hadoop要求输出文件夹不能存在，所以这只是空文件夹，在执行时再确定输出文件夹，如/wcoutput/output1
在这里插入图片描述

  • 创建一个文本文件，并上传到保存输入文件的文件夹中
    在这里插入图片描述
    在这里插入图片描述
  • 运行WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput/output1

在这里插入图片描述

  • 本地查看结果（截取部分）
    在这里插入图片描述
  • 远程查看结果
    在这里插入图片描述
    在这里插入图片描述
    初学，犯了很蠢的错误，没有文件就开始运行程序，词频统计没有词怎么统计嘛
    在这里插入图片描述

文章来源:https://blog.csdn.net/L_Einsamkeit/article/details/132794565
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。