Hadoop集群虚拟化扩展(HVE )配置实践

公司的hadoop集群搬家到新机房后的结构大致是这样,每台物理机上安装两个虚拟机,每个虚拟机上装载一个hadoop节点,集群水平扩展。为了提高集群可靠性、最大化发挥物理设备的能力和充分利用资源,决定尝试使用HVE(Hadoop Virtualization Extensions)配置。 以下情况发生时需要考虑启用HVE 每台物理机上装载多个hadoop虚拟机环境。 DataNodes和TaskTrackers存在于不同的虚拟机环境下,为了实现hadoop集群计算组件的更好的伸缩性。 在主机和机架之间存在一个拓扑层(例如机箱chassis),其故障会对非虚拟环境的主机间造成影响。 HVE要做的事情 在同一物理机上的虚拟机(数据节点)受到同一存储控制器或硬件故障的影响。所以会考虑避免跨虚拟机的两个数据副本落在同一物理机上。 在