Manejo de grandes recursos de datos y aplicaciones con hilo hadoop
Video: Analisis Base de Datos
La planificación de tareas y seguimiento de grandes volúmenes de datos son parte integral de Hadoop MapReduce y se pueden utilizar para administrar los recursos y aplicaciones. Las primeras versiones de Hadoop apoyaron un sistema de seguimiento de trabajo y la tarea rudimentaria, pero a medida que la mezcla de trabajo apoyado por Hadoop cambió, el planificador no podían seguir el ritmo.
En particular, el antiguo programador no podía administrar los trabajos no MapReduce, y era incapaz de optimizar la utilización de clúster. Por lo que una nueva capacidad fue diseñado para hacer frente a estas deficiencias y ofrecer más flexibilidad, eficiencia y rendimiento.
Sin embargo, otro negociador de recursos (hilados) es un servicio de núcleo Hadoop proporcionar dos servicios principales:
La gestión global de los recursos (ResourceManager)
Video: Elaboracion de Base de datos Transportes Jeronimo
gestión de cada aplicación (ApplicationMaster)
El ResourceManager es un NodeManager servicio maestro y el control en cada uno de los nodos de un clúster Hadoop. Incluido en el ResourceManager es programador, cuya única tarea es asignar recursos del sistema para aplicaciones específicas de funcionamiento (tareas), pero no supervisa ni un seguimiento del estado de la aplicación.
Toda la información requerida del sistema se almacena en un contenedor de recursos. Contiene CPU detallada, disco, red y otros recursos importantes atributos necesarios para la ejecución de aplicaciones en el nodo y en el clúster.
Cada nodo tiene un NodeManager esclavo de la ResourceManager global en el clúster. El NodeManager supervisa el uso de la aplicación de la CPU, disco, red y memoria y los informes de nuevo a la ResourceManager. Para cada aplicación que se ejecuta en el nodo hay un ApplicationMaster correspondiente.
Video: inyeccion SQL y dump a base de datos
Si se necesitan más recursos para apoyar la aplicación en ejecución, el ApplicationMaster notifica al NodeManager y la NodeManager negocia con el ResourceManager (Programador) para la capacidad adicional en nombre de la aplicación. El NodeManager también es responsable de rastrear el estado del trabajo y el progreso dentro de su nodo.