虽然现网保留7天最新日志，但是由于某些模块请求量大或日志打印不合理，我们也会限制一个小时日志打印量，超过阈值后不再保存

数据分析方法论:是从宏观角度出发,从管理和业务的角度提出的一种分析框架,这个框架可以很好的指导我们接下来具体分析的方向和板块

通过大数据技术的加持，很多重要的社会经济心理变量变得可以构建，如居民幸福感、投资人情绪等，而实时技术的发展甚至使得实时预测变成了可能。

数据抽取:从数据源获取所需数据的过程。数据抽取过程会过滤掉目标数据集中不需要的源数据字段或数据记录。

集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一，同时因为系统累计数据庞大，制单和查询操作经常出现卡顿，工作效率非常低。

Flink和ClickHouse分别是实时计算和(近实时)OLAP领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好

在缺乏有价值数据的时候,如何有效地满足业务需求的问题,就是“冷启动问题”。为了沟通方便,下面统一从推荐系统的角度来讲“冷启动问题”,其他业务场景同理。

分布式计算(Distributedcomputing)是一种把需要进行大量计算的工程数据分割成小块，由多台计算机分别计算，在上传运算结果后，将结果统一合并得出数据结论的科学。

虽然今天互联网企业已经足够的数字化，但看清楚公司的运行情况，依旧是一件很难的事情。看清楚，不仅包括看清楚企业的投入情况，也包括看清楚业务的运行情况

数据分析需要一点“精神分裂”，找完原因，还要向业务同学提建议。这个时候，又得掌握站在业务同学的角度思考如何提出建议。

数据质量管理(DATAQualityManagenment)是指对上述过程中每个阶段可能出现引发数据质量的问题进行识别、监控、预警等相关管理活动。

通过搭建指标体系的「OSM模型+ARGO模型+金字塔原则」整体框架，我们便可以快速地搭建起一套适合自身业务的指标体系。