Hadoop sistema de archivos distribuido (hdfs) alta disponibilidad
Video: Cluster de Alta disponibilidad en Ubuntu Server 12.04, Video Completo!
A menudo en la infancia de Hadoop, una gran cantidad de discusión se centra en la representación de la NameNode de un único punto de fallo. Hadoop, en general, ha tenido siempre una arquitectura robusta y el fracaso tolerantes, con la excepción de esta área clave. Sin NameNode, no hay ninguna agrupación de Hadoop.
El uso de Hadoop 2, puede configurar HDFS por lo que hay una NameNode activa y una NameNode espera. La espera NameNode tiene que estar en un nodo maestro dedicado que está configurado de forma idéntica al nodo principal utilizado por el NameNode activo.
Video: cluster de alta disponibilidad
La espera NameNode no está sentado de brazos cruzados mientras NameNode se ocupa de todas las solicitudes de direcciones de bloque. La espera NameNode, encargado de la tarea de mantener el estado de los lugares de bloque y bloque de metadatos en la memoria, se encarga de las responsabilidades puntos de control HDFS.
El activo NameNode escribe las entradas del diario de cambios en los archivos a la mayoría de los servicios de JournalNode, que se ejecutan en los nodos maestros. (Nota: La solución HDFS alta disponibilidad requiere al menos tres nodos maestros, y si hay más, sólo puede haber un número impar.)
Video: big data
Si se produce un fallo, el nodo en espera primero lee todas las entradas de diario completados (donde la mayoría de revistas nodos tienen una entrada, en otras palabras), para asegurar que el nuevo NameNode activa es plenamente compatible con el estado del clúster.
Zookeeper se utiliza para controlar la NameNode activo y manejar la logística de conmutación por error si el NameNode activo deja de estar disponible. Tanto los NameNodes activo y en espera han dedicado controladores de conmutación por error Zookeeper (ZFC) que realizan las tareas de control y conmutación por error. En el caso de un fallo, la ZFC informa a los casos Zookeeper en el clúster, que luego elegir un nuevo NameNode Activo.
Video: Clúster de alto rendimiento: Monitoreo con Ganglia Monitoring System
Apache Zookeeper ofrece servicios de coordinación y de configuración para sistemas distribuidos, por lo que no es de extrañar que vemos que utiliza todo el lugar en Hadoop.