首页>>互联网>>大数据->大数据能存储多少合适?

大数据能存储多少合适?

时间:2023-12-21 本站 点击:0

导读:本篇文章首席CTO笔记来给大家介绍有关大数据能存储多少合适的相关内容,希望对大家有所帮助,一起来看看吧。

我存大数据需要多大容量硬盘合适?

基本都是2T4T的移动硬盘,看个人储存需要的数据有多大,还有个人的经济预算。

大数据存储需要具备什么?

大数据之大

大是相对而言的概念。例如,对于像SAPHANA那样的内存数据库来说,2TB可能就已经是大容量了;而对于像谷歌这样的搜索引擎,EB的数据量才能称得上是大数据。

大也是一个迅速变化的概念。HDS在2004年发布的USP存储虚拟化平台具备管理32PB内外部附加存储的能力。当时,大多数人认为,USP的存储容量大得有些离谱。但是现在,大多数企业都已经拥有PB级的数据量,一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。

有容乃大

由此看来,大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代,而EB级时代即将到来。过去,许多企业通常以五年作为IT系统规划的一个周期。在这五年中,企业的存储容量可能会增加一倍。现在,企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB,并可通过动态虚拟控制器实现系统的快速预配置。此外,通过HDSVSP的虚拟化功能,大型企业可以创建0.25EB容量的存储池。随着非结构化数据的快速增长,未来,文件与内容数据又该如何进行扩展呢?

不断生长的大数据

与结构化数据不同,很多非结构化数据需要通过互联网协议来访问,并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级,现在则需要扩展到PB级,而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。索引节点不是数据本身,而是描述数据所有权、访问模式、文件大小、时间戳、文件指针和文件类型等信息的元数据。传统文件系统中的索引节点数量有限,导致文件系统可以容纳的文件、目录或对象的数量受到限制。HNAS和HCP使用基于对象的文件系统,使得其容量能够扩展到PB级,可以容纳数十亿个文件或对象。位于VSP或HUS之上的HNAS和HCP网关不仅可以充分利用模块存储的可扩展性,而且可以享受到通用管理平台HitachiCommandSuite带来的好处。HNAS和HCP为大数据的存储提供了一个优良的架构。大数据存储平台必须能够不受干扰地持续扩展,并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行,而且要在后台完成。大数据只要复制一次,就能具有很好的可恢复性。大数据存储平台可以通过版本控制来跟踪数据的变更,而不会因为大数据发生一次变更,就重新备份一次所有的数据。HDS的所有产品均可以实现后台的数据移动和分层,并可以增加VSP、HUS数据池、HNAS文件系统、HCP的容量,还能自动调整数据的布局。传统文件系统与块数据存储设备不支持动态扩展。大数据存储平台还必须具有弹性,不允许出现任何可能需要重建大数据的单点故障。HDS可以实现VSP和HUS的冗余配置,并能为HNAS和HCP节点提供相同的弹性。

“大数据” 到底有多大

在很多人的眼里大数据可能是一个很模糊的概念,但是,在日常生活中大数据有离我们很近,我们无时无刻不再享受着大数据所给我们带来的便利,个性化,人性化。全面的了解大数据我们应该从四个方面简单了解。定义,结构特点,我们身边有哪些大数据,大数据带来了什么,这四个方面了解。

那么“大数据”到底是什么呢?

在麦肯锡全球研究所给出的定义中指出:大数据即是一种规模大到在获取,存储,管理,分析方面大大超出了传统数据库软件工具能力范围的数据集合。简单而言大数据是数据多到爆表。大数据的单位一般以PB衡量。那么PB是多大呢?1GB=1024MB ,1PB=1024GB才足以称为大数据。

如图:

衡量单位一览表

其次,大数据具有什么样的特点和结构呢?

大数据从整体上看分为四个特点,

第一,大量。

衡量单位PB级别,存储内容多。

第二,高速。

大数据需要在获取速度和分析速度上要及时迅速。保证在短时间内更多的人接收到信息。

第二,多样。

数据的来源是各种渠道上获取的,有文本数据,图片数据,视频数据等。因此数据是多种多样的。

第三,价值。

大数据不仅仅拥有本身的信息价值,还拥有商业价值。大数据在结构上还分为:结构化,半结构化,非结构化。结构化简单来讲是数据库,是由二维表来逻辑表达和实现的数据。非结构化即数据结构不规则或不完整,没有预定义的数据模型。由人类产生的数据大部分是非结构化数据。

结语:以上就是首席CTO笔记为大家整理的关于大数据能存储多少合适的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/BigData/48458.html