Hadoop sistema de archivos distribuido (hdfs) federación
La solución a la expansión de las agrupaciones de Hadoop es indefinidamente federativo NameNode. Antes de Hadoop 2 entró en la escena, los clusters Hadoop tuvieron que vivir con el hecho de que NameNode coloca límites sobre el grado en que podrían escalar. Pocos grupos fueron capaces de ampliar más allá de 3.000 o 4.000 nodos.
necesidad de NameNode mantener registros para cada bloque de datos almacenados en el cluster resultó ser el factor más importante restringir el mayor crecimiento clúster. Cuando usted tiene demasiados bloques, se hace cada vez más difícil para el NameNode a escala como el cluster Hadoop escalas a cabo.
En concreto, debe establecer HDFS de modo que tiene varias instancias NameNode que se ejecutan en sus propios nodos maestros dedicados, y luego haciendo que cada NameNode responsable únicamente de los bloques de archivos en su propio espacio de nombres.
La figura muestra los patrones de replicación de bloques de datos en HDFS. Se puede ver un grupo de Hadoop con dos NameNodes servir un solo grupo. Los nodos esclavos todos contienen bloques de ambos espacios de nombres.