首页 　· 　资讯　· 　大数据　· 　Spark
网格模式　　 列表模式
  • Flink 在有赞实时计算的实践
    这篇主要由五个部分来组成：首先是有赞的实时平台架构。其次是在调研阶段我们为什么选择了Flink。在这个部分，主要是Flink与Spark的structuredstreaming的一些对比和选择Flink的原因。......
  • 基于Flink SQL构建实数据仓库
    OPPO作为手机厂商，基于Android定制了自己的ColorOS系统，当前日活跃用户超过2亿。围绕ColorOS，OPPO构建了很多互联网应用，比如应用商店、浏览器、信息流等。在运营这些互联网应用的过程中，OP......
  • spark图解
    spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一......
  • 实时数据平台设计：技术选型与应用场景适配模式
    本文我们则会推荐整体技术组件选型，对每个技术组件做出简单介绍，尤其对我们抽象并实现的四个技术平台（统一数据采集平台、统一流式处理平台、统一计算服务平台、统一数据可视化平台）着重介绍......
  • 如何在万亿级别规模的数据量上使用Spark
    本文主要是通过作者在搭建使用计算平台的过程中，写出对于Spark的理解，并且介绍了Spark在当前的DataMagic是如何使用的，当前平台已经用于架平离线分析，每天计算分析的数据量已经达到千亿~万亿......
  • Spark及Spark Streaming核心原理及实践
    本文依次从spark生态，原理，基本概念，sparkstreaming原理及实践，还有spark调优以及环境搭建等方面进行介绍，希望对大家有所帮助。......
  • 美团酒旅实时数据规则引擎应用实践
    美团点评酒旅运营需求在离线场景下，已经得到了较为系统化的支持，通过对离线数据收集、挖掘，可对目标用户进行T+1触达，通过向目标用户发送Push等多种方式，在一定程度上提高转化率。......
  • 苏宁基于Spark Streaming的实时日志分析系统实践
    目前业界基于Hadoop技术栈的底层计算平台越发稳定成熟，计算能力不再成为主要瓶颈。多样化的数据、复杂的业务分析需求、系统稳定性、数据可靠性，这些软性要求，逐渐成为日志分析系统面对的主要......
  • 基于Spark的大规模机器学习在微博的应用
    一直以来，微博都尝试通过机器学习来解决业务场景中遇到的各种挑战。本文为新浪微博吴磊在CCTC2017云计算大会Spark峰会所做分享《基于Spark的大规模机器学习在微博的应用》主题的一部分，介绍微......
  • spark与storm比对与选型
    大数据实时处理平台市场上产品众多，本文着重讨论spark与storm的比对，最后结合适用场景进行选型。......
  • 使用Flume+Kafka+SparkStreaming进行实时日志分析
    每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中......
  • spark环境搭建及简单程序使用
    该文章是在hadoop环境搭建好的基础上进行的，主要是针对搭建过程中自己遇到的一些小问题。......
大家在关注
我们的推荐
顺便看看