Page 1 of 1

您需要了解的数据仓库架构

Posted: Tue Feb 18, 2025 10:22 am
by shukla7789
数据仓库的架构在不同的实现中可以有不同的结构。让我们看一下数据仓库架构的层次。
数据仓库的架构在不同的实现中可以有不同的结构。有些可能有一个 ODS(操作数据存储),而其他的可能有多个数据集市。有些可能只有少量数据源,而有些可能有几十个数据源。鉴于此,展示数据仓库架构的不同层比讨论任何特定的系统更为合理。


一般来说,每个数据仓库架构都有以下层:

数据源层
数据提取层
测试区域
ETL 层
数据存储层
数据逻辑层
数据表现层
元数据层

系统操作层

如何利用云数据湖取得成功。克服十大 香港 whatsapp 数据 挑战,获得竞争优势并改善客户体验
数据仓库架构的属性
以下属性对于数据仓库的架构至关重要:

分离:分析过程和交易过程应尽可能分开。
可扩展性:数据仓库的架构(包括硬件和软件)必须易于更新,因为需要管理和处理的数据量会不断增长,需要满足的用户需求也会不断增加。
可扩展性:架构应该能够适应新的应用程序和技术,而无需彻底改造整个系统。
安全性:由于数据仓库中存储了战略数据,因此监控访问至关重要。
可管理性:管理数据仓库不应该太困难。

任何数据仓库架构的层次
让我们看看下面数据仓库架构的每一层:

数据源层:代表将数据输入数据仓库的不同数据源。 数据源可以是任意格式:纯文本文件、关系数据库、其他类型的数据库、Excel文件等。所有这些都可以作为数据源。此外,数据类型可能多种多样:
运营数据,例如销售数据、人力资源数据、产品数据、库存数据、营销数据和系统数据。
来自网络服务器的日志,包含用户浏览数据。
内部市场研究数据。
第三方数据,例如人口普查数据、人口统计数据或调查数据。

数据提取层:从数据源提取数据并带入数据仓库系统。此层可能会发生一些最少的数据清理,但预计不会发生重大的数据转换。
暂存区:这是数据集市和数据仓库中数据清理和转换的地方。拥有共同的区域有助于数据的处理和后续集成。
ETL 层:这是数据获得智能的地方,因为应用逻辑将数据从交易性质转换为分析性质。该层也是数据清理的地方。 ETL 设计阶段通常是数据仓库项目中最长的阶段,并且通常在此层使用ETL 工具。






您可能有兴趣阅读:
云中数据仓库的优势和解决方案




数据存储层:这是放置转换和清理后的数据的地方。根据范围和功能,可以找到三种类型的实体:数据仓库、数据集市和操作数据仓库(ODS)。在任何系统中,您都只能找到这 3 种类型中的一种、这 3 种类型中的 2 种,或者所有这 3 种类型同时存在。