首页  ·  知识 ·  大数据
运行hadoopMapReduce程序常见错误及解决方法
海兰  CSDN博客  实践应用  编辑:筱雨   图片来源:网络
因为Eclipse使用hadoop插件提交作业时,会默认用windows系统的用户去将作业写入hdfs文件系统中,由于此用户对hadoop目录并没有写入权限,所以导致异常的发生。

一、Permission denied

1、Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错

  1. org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x  

  2. at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)  

因为Eclipse使用hadoop插件提交作业时,会默认用windows系统的用户去将作业写入hdfs文件系统中,  由于此用户对hadoop目录并没有写入权限,所以导致异常的发生。


解决方法为:

方法一:放开 hadoop 目录的权限 , 命令如下 :$ hadoop fs -chmod -R 777  /


当然,也可以只针对某个目录操作:

blob.png

如对命令不熟悉,可以直接用如下命令查看:

blob.png

方法二:直接在hdfs的配置文件中,将dfs.permissions修改为False


二、空指针错误:

在我的上篇hadoop2.2.0安装教程中有人遇到空指针错误:“Exception in thread "main" java.lang.NullPointerException”

该错误的修正,需做如下操作:

1、下载hadoop.dll、winutils.exe文件放到eclipse所连接的hadoop的bin目录下(win系统里边);

2、win系统里边的C盘下的system32目录放一份;

3、环境变量的PATH里边加一下1中的bin目录。

三、有人日志打不出来,报警告信息:

  1. log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).  

  2. log4j:WARN Please initialize the log4j system properly.  

  3. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.  

这个需要在项目的src下面新建file名为log4j.properties的文件


内容为:

  1. # Configure logging for testing: optionally with log file  

  2.   

  3. #log4j.rootLogger=debug,appender  

  4. log4j.rootLogger=info,appender  

  5. #log4j.rootLogger=error,appender  

  6.   

  7. #\u8F93\u51FA\u5230\u63A7\u5236\u53F0  

  8. log4j.appender.appender=org.apache.log4j.ConsoleAppender  

  9. #\u6837\u5F0F\u4E3ATTCCLayout  

  10. log4j.appender.appender.layout=org.apache.log4j.TTCCLayout  

blob.png

四、自己在eclipse打的jar包放到linux中运行时报错:

Exception in thread "main" java.lang.ClassNotFoundException:后边跟着自定义参数(如目录等)

解决方法:

1、可以重新在eclipse中打包,打包时记得选择main class。

2、另外,可以在打包时选择“Runnable JAR file”,打成java运行jar包。(该种方法会把程序中相关的包都打进去,会比较大,不过可以保证能运行)


本文作者:海兰 来源:CSDN博客
CIO之家 www.ciozj.com 微信公众号:imciow
   
免责声明:本站转载此文章旨在分享信息,不代表对其内容的完全认同。文章来源已尽可能注明,若涉及版权问题,请及时与我们联系,我们将积极配合处理。同时,我们无法对文章内容的真实性、准确性及完整性进行完全保证,对于因文章内容而产生的任何后果,本账号不承担法律责任。转载仅出于传播目的,读者应自行对内容进行核实与判断。请谨慎参考文章信息,一切责任由读者自行承担。
延伸阅读