当前位置: 江南文明网 > 科技 >

数据仓库解决方案

条评论

数据仓库解决方案

随着社会的快速发展,数字分析的重要性也日益突显。市场上也涌现更多数字化系统或产品,帮助人们更好地管理工作,提高工作效率。下面,我们就来了解一下数据仓库解决方案吧!

 

 

数据仓库解决方案

一、数据仓库介绍

数据仓库是集成的、面向主题的、反应历史的数据的集合。它需要具有高效查询、高质量的、可扩展的的特性。数据仓库是协助运营及管理人员及时做出策略调整的最有效的依据。

二、数据仓库简单架构

通常情况下,数据仓库可大体分为三个层次:数据来源、数据处理、数据应用。

ODS层:通常存放的是最原始的数据,包括从业务库同步过来的业务数据、客户端通过SDK打点过来的数据、服务生成的原始日志文件等数据。

业务库同步数据:这里的数据是会发生update操作的,因此通常情况下会使用全同步的方案。然而,当数据量过大时采用全量同步很明显不太合适,这时可以采用拉量表的方式进行处理。业务库表同步工具:sqoop、datax等。