Cómo iniciar una aplicación en mapreduce hadoop 1

Video: Mapreduce wordcount program in hadoop(Compile & Run)

Para ver cómo el JobTracker y TaskTracker trabajan juntos para llevar a cabo una acción de MapReduce, echar un vistazo a la ejecución de una aplicación de MapReduce. La figura muestra las interacciones, y la lista paso siguiente establece el play-by-play:

Video: Daemons of MapReduce - Intro to Hadoop and MapReduce

  1. La aplicación cliente envía una solicitud de aplicación a la JobTracker.

    Video: 017 Understanding MapReduce in hadoop Part 1

  2. El JobTracker determina cómo se necesitan muchos recursos de procesamiento para ejecutar toda la aplicación.

    Esto se hace mediante la solicitud de los lugares y los nombres de los archivos y bloques de datos que la aplicación necesita de NameNode, y el cálculo de cuántas tareas mapa y reducir las tareas serán necesarios para procesar todos estos datos.

  3. El JobTracker mira el estado de los nodos esclavos y las colas de todas las tareas de mapas y reducir las tareas para su ejecución.

  4. Como ranuras de procesamiento estén disponibles en los nodos esclavos, mapa tareas se implementan en los nodos esclavos.

    Mapa tareas asignadas a los bloques específicos de datos se asignan a los nodos donde se almacena esos mismos datos.

  5. El progreso de la tarea monitores JobTracker, y en el caso de un fallo tarea o un fallo de nodo, la tarea se reinicia en la siguiente ranura disponible.

    Si la misma tarea falla después de cuatro intentos (que es un valor por defecto y se puede personalizar), todo el trabajo se producirá un error.

  6. Después de que el mapa tareas están terminadas, reducen las tareas de procesar los conjuntos de resultados provisionales de las tareas de mapas.

  7. El conjunto de resultados se devuelve a la aplicación cliente.

aplicaciones más complicadas pueden tener múltiples rondas de mapa / reducir fases, donde el resultado de una ronda se utiliza como entrada para la segunda ronda. Esto es bastante común con las cargas de trabajo de estilo SQL, en las que hay, por ejemplo, se unen y grupo de operaciones.

Artículos Relacionados