Hadoop的伸缩性、健壮性、计算性能和成本有着无法代替的优势,事实上已经作为了当今互联网企业最主流的大数据处理平台。
大数据处理的分析分类
Hadoop平台对于业务的针对性相当强,为了能够让你了解是否和你的业务符合,现在从几个角度来将大数据处理业务进行分类,根据需求的不同选择不同的数据分析架构。
根据数据分析的实时性,主要分为离线数据和实时数据分析
实时数据分析处理主要是用在金融、互联网等行业,在需求上一般都是返回上亿的数据处理,以达到不影响用户体验的目的。为了满足这种需求,可以对于传提供的数据组库进行精心的设计,并组成并行处理集群,还可以采用一些内存计算平台,比如HDD的架构,但是这样都会提高软硬件的成本。对于目前比较心的实时海量数据的分析工具主要为EMC的Greenplum、SAP的HANA等。
针对于数据处理返回时间要求没有这么高的应用,蔽日离线统计分析处理、机器学习、搜索引擎的反响索引计算等,一般都采用离线分析的方式。通过采集数据工具将日志数据导入到数据分析平台里。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满足每秒数百MB的日志数据采集和传输需求,并将这些数据上载到Hadoop中央系统上。
根据大数据的数据存储量分为内存级别、BT级别、海量级别三种
内存级别主要是数据量最大值在集群内存的范围内。不要小看内存的容量,Facebook的缓存在内存里的数据就有320TB之多,而目前PC服务器的内存也可以超过一百个G。因此对于内存级别采用内存数据库,可以将热点数据库常驻在内存里面,从而获得迅速的分析能力,对于实时业务分析非常合适。下图就是是一种实际可行的MongoDB分析架构。
MongDB大集群在稳定性上面存在一些问题,会发生一些周期性的堵塞以及同步失败,但依然可以作为一种潜力很大而且可以用于告诉数据处理的NoSQL。
BT级别主要是针对那些内存太大的数据量,一般可以将其放到传统的BI产品和专门设计的数据库里面进行分析。目前主流的BI产品都有支持TB级以上的数据分析方案。种类繁多,就不具体列举了。
海量级别指的是对于数据库和BI产品已经完全失效或者成本过高的数据量。海量数据级别的优秀企业级产品也有很多,但基于软硬件的成本原因,目前大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据,并使用MapReduce进行分析。本文稍后将主要介绍Hadoop上基于MapReduce的一个多维数据分析平台。
本文作者:记者 来源:CIOZJ
CIO之家 www.ciozj.com 微信公众号:imciow