首页>>互联网>>大数据->hdp和cdh哪个大数据平台好用(hdp和cdh区别)

hdp和cdh哪个大数据平台好用(hdp和cdh区别)

时间:2023-12-25 本站 点击:0

导读:本篇文章首席CTO笔记来给大家介绍有关hdp和cdh哪个大数据平台好用的相关内容,希望对大家有所帮助,一起来看看吧。

大数据有哪些常用的平台?

大数据有三个主要部分,分别是数学,统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度,所以要重视基础知识的学习。

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的各类技术。

扩展资料:

注意事项:

大数据的第一站就是收集和存储海量数据(公开/隐私)。现在每个人都是一个巨大的数据源,通过智能手机和个人笔记本释放出大量的个人行为信息。获取数据似乎已经变得越来越容易,数据收集这一模块最大的挑战在于获取海量数据的高速要求以及数据的全面性考虑。

传统商业智能在数据清洗处理的做法(ETL)是,把准确的数据放入定义好的格式中,通过基础的抽取统计生成高维度的数据,方便直接使用。然而大数据有个最突出的特征——数据非结构化或者半结构化。因为数据有可能是图片,二进制等等。数据清洗的最大挑战来了——如何转化处理大量非结构数据,便于分布式地计算分析。

参考资料来源:百度百科-大数据

Cloudera的CDH和Apache的Hadoop的区别

目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s

Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data

Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop

1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache

hadoop在兼容性,安全性,稳定性上有增强。

(2)CDH3版本是基于Apache hadoop 0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop

2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache

hadoop同功能版本提早发布,更新速度比Apache官方快。

(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证

(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。

(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache

hadoop只支持Tar包安装。

注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处: 1、联网安装、升级,非常方便 2、自动下载依赖软件包

3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。

4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs,

mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限。

大数据分析平台哪个好?

大数据分析平台有很多,好的有以下几个:

1、思迈特软件Smartbi从取数、分析到报告,思迈特软件Smartbi提供一体化的闭环工作方式。Office插件等同于一个媒介,安装此插件可以将思迈特软件Smartbi的报表资源添加到Word、PPT、WPS文字或WPS演示中,进而可以在Word、PPT、WPS文字或WPS演示中引用思迈特软件Smartbi中的资源,生成带有参数的动态分析报告

2、Lumify归Altamira科技公司(以国家安全技术而闻名)所有,这是一种开源大数据整合、分析和可视化平台。你只要在Try.Lumify.io试一下演示版,就能看看它的实际效果。

3、Disco最初由诺基亚开发,这是一种分布式计算框架,与Hadoop一样,它也基于MapReduce。它包括一种分布式文件系统以及支持数十亿个键和值的数据库。

数据分析有没有用,来试试Smartbi就知道了,Smartbi产品功能设计全面,涵盖数据提取、数据管理、数据分析、数据共享四个环节,帮助客户从数据的角度描述业务现状,分析业务原因,预测业务趋势,推动业务变革。

结语:以上就是首席CTO笔记为大家整理的关于hdp和cdh哪个大数据平台好用的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/BigData/58826.html