3 Configuraciones de clúster hadoop

Hadoop despliegue de un solo estante

Una implementación de un único bastidor es un punto de partida ideal para un clúster Hadoop.

A continuación, el grupo es bastante auto-contenida, pero debido a que aún tiene relativamente pocos nodos esclavos, los verdaderos beneficios de la capacidad de recuperación de Hadoop aún no son evidentes.

Hadoop despliegue de tres estante

Un racimo de tamaño medio tiene varios bastidores, donde los tres nodos maestros se distribuyen en los bastidores.

resiliencia de Hadoop está empezando a ser aparente: Incluso si un estante entero llegase a fallar (por ejemplo, tanto TdR conmuta en un único bastidor), el clúster haría todavía función, aunque a un menor nivel de rendimiento. Un fallo de un nodo esclavo apenas sería perceptible.

Hadoop despliegue a gran escala

En las agrupaciones más grandes con muchos bastidores, como el ejemplo que se muestra, la arquitectura de red requerida es bastante sofisticado.

Independientemente del número de bastidores racimos de Hadoop se expanden a, los nodos esclavos de cualquier rack deben ser capaces de hablar de manera eficiente ?? ?? a cualquier nodo maestro.

A medida que el número de nodos esclavos aumenta hasta el punto en el que tiene más de tres bastidores, bastidores adicionales están compuestos únicamente de nodos esclavos, aparte de los interruptores de Tor. Si está utilizando HBase en gran medida en el clúster, puede añadir nodos maestros para albergar los servicios HMaster y Zookeeper adicionales.

Si se gradúa a una escala verdaderamente masiva, donde tiene cientos de nodos esclavos, puede que tenga que utilizar las capacidades de federación HDFS por lo que una gran parte de sus conjuntos de datos son gestionados por diferentes servicios NameNode.

Por cada NameNode activos adicionales, se necesita un correspondiente NameNode de espera y dos nodos maestros para acoger estos servidores. Con HDFS federación, el cielo es el límite en cuanto a lo lejos que puede escalar los clústeres.