本文依次从spark生态，原理，基本概念，sparkstreaming原理及实践，还有spark调优以及环境搭建等方面进行介绍，希望对大家有所帮助。......

目前业界基于Hadoop技术栈的底层计算平台越发稳定成熟，计算能力不再成为主要瓶颈。多样化的数据、复杂的业务分析需求、系统稳定性、数据可靠性，这些软性要求，逐渐成为日志分析系统面对的主要......

每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中......

随着互联网技术的迅速发展，用户对于数据处理的时效性、准确性与稳定性要求越来越高，如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战。......

当Sparkstreaming程序意外退出时，数据仍然再往Kafka中推送，然而由于Kafka默认是从latest的offset读取，这会导致数据丢失。为了避免数据丢失，那么我们需要记录每次消费的offset，以便下次检查......

缺少与Kafka整合,任何实时大数据处理工具都是不完整的,因此我将一个示例SparkStreaming应用程序添加到kafka-storm-starter......

SparkStreaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。本文将详细介绍SparkStreaming实时计算框架的原理......

sparkstreaming可以通过多种方式作为数据sources（包括kafka），输入数据通过receivers接收，通过replication存储于spark中（为了faultolerance，默认复制到两个sparkexecutors）......

初学SparkStreaming和Kafka，直接从网上找个例子入门，大致的流程：有日志数据源源不断地进入kafka，我们用一个sparkstreaming程序从kafka中消费日志数据，这些日志是一个字符串，然后将这些字......

就拿一个足球团队来说，就拿“宇宙队”巴萨来说，也是需要一个教练，同时也需要组建团队，买卖球员，队伍文化建设，战术打法等等，那么软件项目团队来说，自组织团队同样需要组建......

Teamcenter是业内首个将单个软件应用，转变为在SOA的基础上建立的，跨专业、跨项目阶段和计划的真正集成化的PLM解决方案，为大小制造企业提供了平台可扩展性、应用丰富性以及可配置性。......

FileStream对象表示在磁盘或网络路径上指向文件的流。这个类提供了在文件中读写字节的方法，但经常使用StreamReader或StreamWriter执行这些功能。这是因为FileSt......