首页  ·  知识 ·  大数据
Hadoop参考设计的实现及性能:Hadoop性能初步测试
记者  CIOZJ  实践应用  编辑:dezai   图片来源:网络
基于上述所建立的Hadoop集群,使用标准测试组件进行方案验证,并使用Hadoop性能标杆套件HiBench进行性能测试。

Name Node/Second Name Node 规格(共两台服务器):

 

DataNode/TaskTracker 规格:

 

机柜规格:

 

Hadoop 性能初步测试

基于上述所建立的Hadoop集群,使用标准测试组件进行方案验证,并使用Hadoop性能标杆套件HiBench进行性能测试。

nnbench

测试目的:对NameNode的硬件及配置进行负载测试。

参数设置:

maps = 12

reduces = 6

测试命令

在hadoop安装目录(一般为/usr/lib/hadoop/)下输入:

[root@hadoop3 hadoop]# hadoop jar hadoop-test-1.0.3-Intel.jar nnbench -operation create_write -maps 12 -reduces 6 -blockSize 1 -bytesToWrite 0 numberOfFiles 1000 -r eplicationFactorPerFile 3 -readFileAfterOpen true

测试通过准则:

在命令执行过程中没有报错。

Sort

测试目的:测试整个MapReduce系统的性能。

参数设置:

测试命令:

第一步在一个目录中生成随机数据:

hadoop jar hadoop-examples-1.0.3-Intel.jar randomwriter random-data

第二步调用排序程序:

hadoop jar hadoop-examples-1.0.3-Intel.jar sort random-data sorted-data

第三步检查第二步输出的结果已被正常排序:

hadoop jar hadoop-test-1.0.3-Intel.jar testmapredsort -sortInput random-data -sortOutput sorted-data

测试通过准则:

在第三步执行完后输出:

SUCCESS! Validated the MapReduce framework's 'sort' successfully.

TestDFSIO

测试目的:测试HDFS的I/O性能。系统使用MapReduce同时读写文件。

参数设置:

nrFiles: 10

fileSize: 1000

测试命令:

hadoop jar hadoop-test-1.0.3-Intel.jar TestDFSIO -write -nrFiles 10 -fileSiz e 1000

测试结束后会输出以下结果:

----- TestDFSIO----- : write

Da te & time: Thu Ma y 09 03:01:56 CST 2013

Number o f files: 10

Total MBytes processed: 10000

Thr oughput mb/sec: 92.87206872533086

Average IO rate mb/sec: 98.6314926147461

IO rate std deviation: 23.668972646690577

Test exec time sec: 47.991

本文作者:记者 来源:CIOZJ
CIO之家 www.ciozj.com 微信公众号:imciow
   
免责声明:本站转载此文章旨在分享信息,不代表对其内容的完全认同。文章来源已尽可能注明,若涉及版权问题,请及时与我们联系,我们将积极配合处理。同时,我们无法对文章内容的真实性、准确性及完整性进行完全保证,对于因文章内容而产生的任何后果,本账号不承担法律责任。转载仅出于传播目的,读者应自行对内容进行核实与判断。请谨慎参考文章信息,一切责任由读者自行承担。
延伸阅读