首页  ·  知识 ·  大数据
window下Hadoop开发环境的搭建
记者  CIOZJ  实践应用  编辑:dezai   图片来源:网络
好多人问我Windows下怎么搭建Hadoop开发环境,说句老实话,这个问题其实很简单,你是怎么开发java项目的,就怎么写mapreduce程序就OK。但是好多培训视频都给搞复杂了,一阵安装cygwin,一阵又搞

好多人问我Windows下怎么搭建Hadoop开发环境,说句老实话,这个问题其实很简单,你是怎么开发java项目的,就怎么写mapreduce程序就OK。但是好多培训视频都给搞复杂了,一阵安装cygwin,一阵又搞什么eclipse连接hadoop集群,我对此的评论用一句话概括:脱裤子放屁……

如果培训公司是想把hadoop这个如此简单的故意搞复杂的话,那么我鄙视你……什么为了方便测试之类的云云,都是扯淡

按照我的理解:你的机器上能运行hello world,就能编写hadoop程序!

Hadoop新人必须先记在心里的东西:

1、cygwin只是模拟了linux环境
2、hadoop必须安装在linux环境上
3、mapreduce程序开发直接就在window上开发即可,你是怎么开发java项目的,就怎么写mapreduce程序
4、mapreduce程序的运行:你是怎么运行java main方法的,那就怎么运行mapreduce程序,可以把写好的程序打成jar包 放到hadoop集群上 执行hadoop命令(就像大家安装完 验证集群是否正常运行那样 ”计算圆周率“一样)
5、我们学的是hadoop 而不是整环境 ,可以先把环境的问题绕过
6、刚开始千万别用eclipse连接hadoop集群,如果你实在是闲着无聊,那请你自己钻研
7、如果你说6的理由是测试方便,那我告诉你,写junit更方便

下面的视频是给想挑战自己能力人看的,如果只是想学好Hadoop的话就别看了!

 

本文作者:记者 来源:CIOZJ
CIO之家 www.ciozj.com 微信公众号:imciow
   
免责声明:本站转载此文章旨在分享信息,不代表对其内容的完全认同。文章来源已尽可能注明,若涉及版权问题,请及时与我们联系,我们将积极配合处理。同时,我们无法对文章内容的真实性、准确性及完整性进行完全保证,对于因文章内容而产生的任何后果,本账号不承担法律责任。转载仅出于传播目的,读者应自行对内容进行核实与判断。请谨慎参考文章信息,一切责任由读者自行承担。
延伸阅读