Los nodos esclavos en racimos de hadoop
En un universo Hadoop, nodos esclavos son donde los datos Hadoop se almacena y donde el procesamiento de datos se lleva a cabo. Los siguientes servicios permiten a los nodos esclavos para almacenar y procesar datos:
NodeManager: Coordina los recursos para un nodo esclavo individuales e informa al gestor de recursos.
Video: Creacion de Cluster con dos nodos en ubuntu
ApplicationMaster: Realiza un seguimiento del progreso de todas las tareas que se ejecutan en el clúster Hadoop para una aplicación específica. Para cada aplicación cliente, el administrador de recursos despliega una instancia del servicio ApplicationMaster en un recipiente en un nodo esclavo. (Recuerde que cualquier nodo que ejecuta el servicio NodeManager es visible para el administrador de recursos.)
Envase: Una colección de todos los recursos necesarios para ejecutar las tareas individuales para una aplicación. Cuando una aplicación se está ejecutando en el clúster, las planificaciones de recursos para las tareas de la aplicación se ejecute como servicio de contenedores en los nodos esclavos del cluster.
TaskTracker: Gestiona el mapa individual y reducir las tareas que se ejecutan en un nodo esclavo para Hadoop 1 racimos. En Hadoop 2, este servicio es obsoleto y ha sido sustituido por los servicios de hilo.
DataNode: Un servicio que permite a HDFS NameNode a los bloques de tiendas en el nodo esclavo.
RegionServer: almacena los datos para el sistema de HBase. En Hadoop 2, HBase utiliza Hoya, que permite a las instancias RegionServer para que se ejecuten en contenedores.
Aquí, cada nodo esclavo siempre se está ejecutando una instancia de DataNode (HDFS que permite almacenar y recuperar los bloques de datos en el nodo esclavo) y una instancia NodeManager (que permite al Administrador de recursos para asignar tareas de aplicación para el nodo esclavo para el procesamiento). Los procesos de contenedor son tareas individuales para las aplicaciones que se ejecutan en el clúster.
Cada aplicación que se ejecuta tiene una tarea ApplicationMaster dedicado, que también se ejecuta en un recipiente, y un seguimiento de la ejecución de todas las tareas que se ejecutan en el clúster hasta que se termine la aplicación.
Con HBase en Hadoop 2, el modelo de contenedor está siendo seguido, como se puede ver:
HBase en Hadoop 2 se inicia por la Hoya aplicación maestra, que solicita contenedores para los servicios HMaster. (Es necesario HMaster múltiples servicios para la redundancia.) La Hoya Aplicación Maestro también solicita recursos para RegionServers, que también se ejecutan en contenedores especiales.
La siguiente figura muestra los servicios desplegados en nodos Hadoop 1 esclavos.
Para Hadoop 1, cada nodo esclavo siempre se está ejecutando una instancia de DataNode (que permite HDFS para almacenar y recuperar los bloques de datos en el nodo esclavo) y una instancia TaskTracker (que permite al JobTracker asignar mapa y reducir las tareas que el nodo esclavo para su procesamiento) .
Los nodos esclavos tienen un número fijo de ranuras mapa y reducen ranuras para la ejecución de mapa y reducir las tareas respectivamente. Si el clúster ejecuta HBase, un número de sus nodos esclavos tendrá que ejecutar un servicio RegionServer. Cuantos más datos se almacenan en HBase, los más instancias RegionServer que necesitará.
Los criterios de hardware para los nodos esclavos son bastante diferentes de los de maestro miliares, de hecho, los criterios no coinciden con los encontrados en las arquitecturas de referencia de hardware para servidores de datos tradicionales. Gran parte de los rumores que rodean Hadoop se debe a la utilización de hardware común en los criterios de diseño de las agrupaciones de Hadoop, pero tenga en cuenta que mercancía el hardware no se refiere al hardware de consumo de grado.
nodos esclavos Hadoop todavía requieren hardware de nivel empresarial, pero en el extremo inferior del espectro de coste, especialmente para el almacenamiento.