La arquitectura de hilo en hadoop

Hilado, para los que acaban de llegar a este partido en particular, significa embargo, otro negociador de recursos, una herramienta que permite a otros marcos de procesamiento de datos para funcionar en Hadoop. La gloria de hilo es que presenta Hadoop con una solución elegante a una serie de desafíos de larga data.

HILO tiene por objeto proporcionar una carga de trabajo más eficiente y flexible, así como la programación de una instalación de gestión de recursos, los cuales en última instancia permitirá a Hadoop para funcionar más que trabajos de MapReduce.

La figura muestra en términos generales cómo HILO encaja en Hadoop y también deja claro cómo se ha permitido Hadoop para convertirse en una verdadera plataforma de uso general para el procesamiento de datos. La siguiente lista da la letra de la melodía:

• almacenamiento distribuido: Nada ha cambiado aquí con el cambio de MapReduce a HILO - HDFS sigue siendo la capa de almacenamiento de Hadoop.

• Administracion de recursos: El concepto subyacente clave en el cambio de hilo desde Hadoop 1 es la gestión de recursos de desacoplamiento de procesamiento de datos. Esto permite hilo para proporcionar recursos a ningún marco de proceso escrito para Hadoop, incluyendo MapReduce.

  Video: Hadoop Interview Questions and Answers | Big Data Interview Questions | Hadoop Tutorial | Edureka

• marco de procesamiento: Debido a que el hilo es una instalación de gestión de recursos de propósito general, puede asignar los recursos del clúster a cualquier marco de procesamiento de datos escrito para Hadoop. El marco procesamiento continuación, se encarga de las cuestiones de aplicación en tiempo de ejecución.

  Para mantener la compatibilidad de todo el código que se desarrolló para Hadoop 1, MapReduce sirve como el primer marco disponible para su uso en el hilo. En el momento de escribir estas líneas, el proyecto Apache Tez fue un proyecto de incubadora en el desarrollo como un marco alternativo para la ejecución de aplicaciones de cerdo y la colmena. Tez probable que va a surgir como una configuración estándar Hadoop.

• Application Programming Interface (API): Con el apoyo de los marcos de procesamiento adicionales, soporte para APIs adicionales vendrá. En el momento de este escrito, Hoya (para ejecutar HBase en el hilo), Apache Giraph (para procesamiento gráfico), Open MPI (para el paso de mensajes en sistemas paralelos), Apache Storm (para el procesamiento de flujo de datos) están en desarrollo activo.

  Video: Hadoop Tutorial For Beginners | What Is Hadoop | Hadoop Tutorial | Hadoop Training | Edureka