导读:很多朋友问到关于大数据分析的维度做多可以多少的相关问题,本文首席CTO笔记就来为大家做个详细解答,供大家参考,希望对大家有所帮助!一起来看看吧!
大数据分析基础——维度模型
维度模型的概念出自于数据仓库领域,是数据仓库建设中的一种数据建模方法。维度模型主要由事实表和维度表这两个基本要素构成。
维度是度量的环境,用来反映业务的一类属性 , 这类属性的集合构成一个维度 , 也可以称为实体对象。 维度属于一个数据域,如地理维度(其中包括国家、地区、 省以及城市等级别的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)。
维度是维度建模的基础和灵魂。在维度建模中,将度量称为“事实” , 将环境描述为“维度”,维度是用于分析事实所需要的多样环境。例如, 在分析交易过程时,可以通过买家、卖家、商品和时间等维度描述交易发生的环境。
维度所包含的表示维度的列,称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。
事实表是维度模型的基本表,每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据,如销售商品所产生的数据,与软件中实际表概念一样。
事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。
事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述:一种是维度属性组合所表示的细节程度:一种是所表示的具体业务含义。
作为度量业务过程的事实,一般为整型或浮点型的十进制数值,有可加性、半可加性和不可加性三种类型。
相对维度来说,通常事实表要细长,行的增加速度也比维度表快的多,维度表正好相反。
事实表有三种类型 :
原子指标和度量含义相同,基于某一业务事件行为下的度量,是业务定义中不可 再拆分的指标,具有明确业务含义的名词 ,如支付金额。
事实表和维度交叉汇聚的点,度量和维度构成OLAP的主要概念,这里面对于在事实表或者一个多维立方体里面存放的数值型的、连续的字段,就是度量。
维度表是事实表不可分割的部分。维度表是进入事实表的入口。丰富的维度属性给出了丰富的分析切割能力。维度给用户提供了使用数据仓库的接口。最好的属性是文本的和离散的。属性应该是真正的文字而不应是一些编码简写符号。应该通过用更为详细的文本属性取代编码,力求最大限度地减少编码在维度表中的使用。
维度表和事实表二者的融合也就是“维度模型”,“维度模型”一般采用“星型模式”或者“雪花模式”,“雪花模式”可以看作是“星型模式”的拓展,表现为在维度表中,某个维度属性可能还存在更细粒度的属性描述,即维度表的层级关系。
维度属性也可以存储到事实表中,这种存储到事实表中的维度列被称为“退化维度”。与其他存储在维表中的维度一样 ,退化维度也可以用来进行事实表的过滤查询、实现聚合操作等。
下表显示的是一个维度(“城市”)和两个指标(“会话数”和“每次会话浏览页数”)。
维度中的一些描述属性以层次方式或一对多的方式相互关联,可以被理解为包含连续主从关系的属性层次。比如商品类目的最低级别是叶子类目,叶子类目属于二级类目,二级类目属于一级类目。在属性的层次结构中进行钻取是数据钻取的方法之一。
当属性层次被实例化为一系列维度,而不是单一的维度时,被称为雪花模式。
大多数联机事务处理系统( OLTP)的底层数据结构在设计时采用此种规范化技术,通过规范化处理将重复属性移至其自身所属的表中,删除冗余数据。
将维度的属性层次合并到单个维度中的操作称为反规范化。分析系 统的主要目的是用于数据分析和统计,如何更方便用户进行统计分析决 定了分析系统的优劣。采用雪花模式,用户在统计分析的过程中需要 大 量的关联操作,使用复杂度高,同时查询性能很差;而采用反规范化处 理,则方便、易用且性能好。
数据仓库总线架构的重要基石之一就是一致性维度。在针对不同数 据域进行迭代构建或并行构建时,存在很多需求是对于不同数据域的业 务过程或者同 一数据域的不同业务过程合并在 一起观察。比如对于日志数据域,统计了商品维度的最近一天的 PV 和 UV; 对于交易数据域, 统计了商品维度的最近一天的下单MV。现在将不同数据域的商品的 事实合并在一起进行数据探查 ,如计算转化率等,称为交叉探查。
我们先来看数据仓库的定义:数据仓库是一个面向主题的、 集成的 、 非易失的且随时间变化的数据集合,用来支持管理人员的决策。
数据由面向应用的操作型环境进人数据仓库后,需要进行数据 集成。将面向应用的数据转换为面向主题的数据仓库数据,本身就是一种集成。
具体体现在如下几个方面:
表级别的整合,有两种表现形式。
水平拆分
维度通常可以按照类别或类型进行细分。由于维度分类的不同而存在特殊的维度属性,可以通过水平拆分的方式解决此问题。
在设计过程中需要重点考虑以下三个原则。
根据数据模型设计思想,在对维度进行水平拆分时,主要考虑如下两个依据。
垂直拆分
在维度设计内容中,我们提到维度是维度建模的基础和灵魂,维度 属性的丰富程度直接决定了数据仓库的能力。在进行维度设计时,依据 维度设计的原则,尽可能丰富维度属性,同时进行反规范化处理。
某些维度属性的来源表产出时间较早,而某些维度属性的来 源 表产出时间较晚;或者某些维度属性的热度高、使用频繁,而某些维度属性的热度低、较少使用 ; 或者某些维度属性经常变化,而某些维度属性比较稳定。在“水平拆分”中提到的模型设计的三个原则同样适合解决此问题。
出于扩展性、产出时间、易用性等方面的考虑,设计 主从维度。主 维表存放稳定 、 产出时间早、热度高的属性;从维表存放变化较快、产 出时间晚、热度低的属性。
参考
《The Data Warehouse Toolkit-The Complete Guide to Dimensional Modeling》
《Google Analytics》
《大数据之路》
欢迎关注 高广超的博客 与 收藏文章 !
欢迎关注 头条号:互联网技术栈 !
大数据的考察维度有哪些?
第一、描述思维
也就是要将一些的结构化的数据或者非结构化的数据都变为客观的标准,在大数据思维的过程中,涉及了很多人为的因素,这些也是可以进行数据分析的,举一个例子就是消费者行为的研究,消费者行为可以是定量的,也可以是不定量的,描述思维就要包含消费者行为的各个方面。这里举一个例子就是商场会对连入局域网的客户继续进行数据的采集,了解客户的消费情况以及分布的情况,消费者可以实现购物、用餐、休闲、娱乐一条龙的服务,并且也可以在很大的程度上提升用户的体验度。在一些大型的景区或者游乐场,大数据可以帮助景区进行更好的游客管理。
第二、相关性思维
就是对于数据之间相关性的研究,对于消费者行为或者用户行为的研究方面,这些行为在一定程度上,大大小小和其他不同的数据都是有内在的联系的,大数据分析的结果就可以更好的建立起数据预测的模型,可以用来预测消费者的偏好和行为,相关性的研究和纷纷也可以更好的支持预测思维,例如在现代物流行业,可以根据消费者的购买行为或者购买习惯,路线以及评价等预测下次的购买行为,现将一些货物进行分仓的存储,在消费者网络下订单之后,可以第一时间就配送到位,大大提升了用户的体验度。以及电商的一个重要的商品推荐功能,也是和大数据的相关性思维密不可分,我们在浏览页面或者是购物完成之后经常会受到类似的推荐功能,虽然说并不是百分之百都会购买,但是推荐还是有效果的。
第三、攻略思维
在大数据继续预测以及分析之后,企业可以根据大数据分析的结果进行营销策略的调整,这才是大数据营销的主要目的,从描述到预测,最后到攻略,这也是大数据思维的一个完整的过程。
多大的数据才算“大数据”
什么是大数据?
列举三个常用的大数据定义:
(1)具有较强决策、洞察和流程优化能力的海量、高增长、多样化的信息资产需要新的处理模式。
——Gartner
(2)海量数据量、快速数据流和动态数据速度、多样的数据类型和巨大的数据价值。
—— IDC
(3)或者是海量数据、海量数据、大数据,是指所涉及的数据太大,无法在合理的时间内被截取、管理、处理、整理成人类可以解读的信息。
—— Wiki
大数据的其他定义也差不多,可以用几个关键词来定义大数据。
首先是“大尺度”,可以从两个维度来衡量,一是从时间序列中积累大量数据,二是对数据进行深度提炼。
其次,“多样化”可以是不同的数据格式,比如文字、图片、视频等。,可以是不同的数据类别,如人口数据、经济数据等。,也可以有不同的数据源,如互联网和传感器等。
第三,“动态”。数据是不断变化的,它可以随着时间迅速增加大量的数据,也可以是在空间不断移动变化的数据。
这三个关键词定义了大数据的形象。
但是,需要一个关键能力,就是“处理速度快”。如果有这样的大规模、多样化、动态的数据,但是需要很长时间的处理和分析,那就不叫大数据。从另一个角度来说,要实现这些数据的快速处理,肯定没有办法手工实现,所以需要借助机器来实现。
数据分析的几个维度
数据分析需要5个维度。分别是用户维度、运营维度、产品维度、市场维度、经营者维度。从这几个维度出发对数据进行一个全面的分析,所谓维度,即事物的某种特征,比如:时间、性别、地区等。
大数据开发的四个维度
数量:数据量
数量也许是与大数据最相关的特征,指企业为了改进企业中的决策而试图利用的大量数据。数据量持续以前所未有的速度增加。然而,真正造成数据量“巨大”的原因在不同和行业和地区各有不同,而且没有达到通常引用的PB级(petabyte)和ZB级(zetabyte)。超过一半的受访者认为数据量达到Terabyte和Petabyte之间才称为大数据,而30%的受访者不知道“大”对于其组织应该有多大。所有受访者都同意,当前被认为“巨大的数量”在将来甚至会更大。
多样性:不同类型的数据和数据源
多样性是指管理多种数据类型的复杂性,包括结构化、半结构化和非结构化数据。企业需要整合并分析来自复杂的传统和非传统信息源的数据,包括企业内部和外部的数据。随着传感器、智能设备和社会协同技术的爆炸性增长,数据的类型无以计数,包括:文本、微博、传感器数据、音频、视频、点击流、日志文件等。
速度:数据在运动中
数据创建、处理和分析的速度持续在加快。加速的原因是数据创建的实时性天性,以及需要将流数据结合到业务流程和决策过程中的要求。速度影响数据时延 – 从数据创建或获取到数据可以访问的时间差。目前,数据以传统系统不可能达到的速度在产生、获取、存储和分析。对于对时间敏感的流程,例如实时欺诈监测或多渠道“即时”营销,某些类型的数据必须实时地分析,以对业务产生价值。
精确性:数据不确定性
精确性指与某些数据类型相关的可靠性。追求高数据质量是一项重要的大数据挑战,但是,即使最优秀的数据清理方法也无法消除某些数据固有的不可预测性,例如天气、经济或者客户最终的购买决定。不确定性的确认和规划的需求是大数据的一个维度,这是随着高管需要更好地了解围绕他们身边的不确定性而引入的维度。
关于大数据开发的四个维度,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
以上是小编为大家分享的关于大数据开发的四个维度的相关内容,更多信息可以关注环球青藤分享更多干货
结语:以上就是首席CTO笔记为大家整理的关于大数据分析的维度做多可以多少的全部内容了,感谢您花时间阅读本站内容,希望对您有所帮助,更多关于大数据分析的维度做多可以多少的相关内容别忘了在本站进行查找喔。