数仓设计--维度(全量、拉链表)
维度属性通常不是静态的,而是会随时间变化的,数据仓库的一个重要特点就是反映历史的变化,所以如何保存维度的历史状态是维度设计的重要工作之一。
顾名思义,缓慢变化维度(slowly changing dimension, SCD)就是数据仓库维度表中,那些随时间变化比较不明显,但仍然会发生变化的维度。
) 近源模型区:主要是将所有入数据仓库的数据表按历史拉链表或事件表(APPEND算法)的方式保留所有历史数据,因此模型设计较简单,只需要基于源系统表结构,对字段进行数据标准化后,增加保留历史数据算法所需要的日期字段即可。
按照业务实际,数仓区分为ODS、DW、SCD、RPT层,DIM维度层会贯穿所有层使用,为方便后台查询会放到RPT层。ODS层存放的是从业务源系统同步过来的数据,表名增加【ODS_业务简写_】前缀,表结构和数据结构保持与源系统一致。
数据仓库可通过拉链表的形式来记录业务状态变化,甚至可以设计专用的事实表来记录。只要有历史分析的需要,就可以去实现。高速查询 数据仓库本身并不提供高速查询功能。
事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计。
《数据仓库工具箱》读书笔记(一):维度建模初步
维度模型是数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的数仓建模经典。
下表仍然来自《数据仓库工具箱》的原文。注意其中除了Type 0~4之外,还有三种混合方式,即Type 5~7。最后善意提醒,《数据仓库工具箱(第三版)》这本书一定要读英文原版,千万不要读中译本。
如果具有高度非关联的属性,包含更多的数量值,则将它们合并为单一的杂项维度为主没有多的意义。在建模表头/明细数据维度时需要避免两个常见的设计错误。将事务表头当成维度。
数据仓库接典型的两种数据仓库建模的理论是维度建模和基于主题域的实体关系建模,这两种方式分别以Kimball和Immon两位大师为代表。
数据仓库数据建模的几种思路主要分为一下几种 星型模式 星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。
维度建模:维度建模是专门应用于分析型数据库、数据仓库、数据市集建模的方法。
数据仓库分层架构深度讲解
数据分层每个企业根据自己的业务需求可以分成不同的层次,但是最基础的分层思想,理论上 数据分为三个层 , 数据运营层 、 数据仓库层 和 数据服务层 。
数据仓库的五层架构:ODS数据准备层;DWD数据明细层;DW(B/S)数据汇总层;DM数据集市层;ST数据应用层。数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。
数据仓库层:DW(Data Warehouse)数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中获得的数据按照主题建立各种数据模型。
指的是将系统的组件分隔到不同的层中,每一层中的组件应保持内聚性,并且应大致在同一抽象级别;每一层都应与它下面的各层保持松散耦合。分层架构的优点 开发人员的专业分工,专注理解某一层。
所以数仓分层是数据仓库设计中十分重要的一个环节, 优秀的分层设计能够让整个数据体系更容易理解和使用 。
【数据仓库系统的三个工具层】数据仓库系统通常采用3层的体系结构,底层为数据仓库服务器,中间层为OLAP服务器,顶层为前端工具。具体如下:数据源和数据的存储与管理部分可以统称为数据仓库服务器。
sqlserver数据仓库维度设计的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据库的维度、sqlserver数据仓库维度设计的信息别忘了在本站进行查找喔。