导读：本篇文章首席CTO笔记来给大家介绍有关大数据集群需要多少台机器的相关内容，希望对大家有所帮助，一起来看看吧。
搭建Hadoop集群，一个月6T的数量需要几台服务器
最好是两个做成HA
关于硬盘:
6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储;(这里我说的是一个月的,你数据保存几个月,就乘几倍)
如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了.
一般是这样计算硬盘大小
(原始数据+中间数据+结果数据)*副本数量=总硬盘大小
关于内存:
namenode不用说了,主要就是用内存保存block和node之间对应关系的,也是要根据数据大小计算的,6T/Block大小(默认为128M)=有多少block--M个
一个block占多少内存: 保守地设置每一百万数据块需要1000MB内存
namenode总内存(兆M)=M*1000MB/100万
datanode的内存: 一般问题不大,一般都是用于mr的计算,这个东西根据你性能的需要设置
关于多少台机器?
根据Task任务的数量和你的性能指标来做决定
一个Block对应一个Mapper任务,上面算出来M个Block了,mapper任务也是那么多
实际测试一下,一定数据量在x台机器上运行时间,根据你的指标去评定要多少台机器
hadoop集群的性能和节点个数近似成正向关系
一个hadoop集群最多可有多少台机器
这个要看版本和服务器性能，开源的一代的master理论能带1千多台，二代有自动平衡，不知道能不能带动两千以上，还是要看性能和网络。
淘宝自己建的能带8000以上。
MySQL集群至少要用5台服务器吗
你是说NDBcluster吗？如果是的话，至少需要3台。一台用作sql节点，同时用作管理节点；另外两台用作数据节点，这样就可以搭建一个最小的NDBcluster集群了。
当然这个最小集群是有单点风险的，比如sql节点和管理节点在同一台机器，这台机器出问题整个集群都不可用。
而用5台服务器的话，可以组成一个没有单点风险的最小mysql集群。架构是这样的：
两台用作data节点，两台用作sql节点，现在用了4台服务器，还剩余一个没有用。然后在其中一个sql节点上和剩余的这台服务器上都装上管理节点，并且在这两台机器上对管理节点使用HA或其它高可用软件实现故障自动切换，这样，data节点、sql节点、管理节点，就都有了冗余，消除了单点故障的风险。
结语：以上就是首席CTO笔记为大家整理的关于大数据集群需要多少台机器的全部内容了，感谢您花时间阅读本站内容，希望对您有所帮助，更多关于大数据集群需要多少台机器的相关内容别忘了在本站进行查找喔。