此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Eclipse执行Hadoop WordCount(2)
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:linuxidc

修改代码

  现在设置方面基本完成,接下来就是针对WordCount.Java所做的修改和HDFS路径配置

打开WordCount.Java(可能会报错),

   将main方法更改如下:

 

  如果GenericOptionsParser报错,将Hadoop-core-1.1.2.jar加到项目中(或放到jar配置路径)。

新建a.txt文件,输入下面内容,保存

 

  在hadoopname下user—》hadoop目录创建input文件夹,将文件a.txt上传到HDFS input上,过程如下(不要创建output目录,不然执行会报错,)

如果HDFS已有,可Linux使用命令hadoop fs -rmr /output删除)

 

在选择Wordcount.Java,右击run as ---》run configurations,打开Arguments填写input out路径(注意:input和output路径中间是有空格的),这里我设置查询input下所有文件的单词出现次数。

 

右击WordCount.Java,run as -àrun on hadoop 执行

 

执行结束后,刷新DFS Locations/ use/hadoop

自动生成output文件夹,点击可以看到执行结果。最终结果存放在part-r-00000中,双击查看即可

分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Eclipse执行Hadoop WordCount(2)
作者:佚名 来源:linuxidc

修改代码

  现在设置方面基本完成,接下来就是针对WordCount.Java所做的修改和HDFS路径配置

打开WordCount.Java(可能会报错),

   将main方法更改如下:

 

  如果GenericOptionsParser报错,将Hadoop-core-1.1.2.jar加到项目中(或放到jar配置路径)。

新建a.txt文件,输入下面内容,保存

 

  在hadoopname下user—》hadoop目录创建input文件夹,将文件a.txt上传到HDFS input上,过程如下(不要创建output目录,不然执行会报错,)

如果HDFS已有,可Linux使用命令hadoop fs -rmr /output删除)

 

在选择Wordcount.Java,右击run as ---》run configurations,打开Arguments填写input out路径(注意:input和output路径中间是有空格的),这里我设置查询input下所有文件的单词出现次数。

 

右击WordCount.Java,run as -àrun on hadoop 执行

 

执行结束后,刷新DFS Locations/ use/hadoop

自动生成output文件夹,点击可以看到执行结果。最终结果存放在part-r-00000中,双击查看即可