La arquitectura de la colmena apache

Video: TERROR EN LA COLMENA EN EL ALTO - SPOT OFICIAL

Al examinar los elementos de Apache Hive muestran, se puede ver en la parte inferior de la colmena que se sienta en la parte superior del sistema de archivos distribuido Hadoop (HDFS) y los sistemas de MapReduce.

Video: La Colmena Jammin

En el caso de MapReduce, los figureshows tanto los componentes Hadoop 1 y Hadoop 2. Con Hadoop 1, las consultas de la colmena se convierten en código de MapReduce y ejecutados utilizando la infraestructura de MapReduce v1 (MRv1), al igual que el JobTracker y TaskTracker.

Video: COLMENA

Con Hadoop 2, el hilo se ha desmarcado de gestión de recursos y la programación del marco MapReduce. consultas colmena todavía se pueden convertir en código de MapReduce y ejecutados, ahora con MapReduce v2 (MRv2) y la infraestructura de hilo.

Hay un nuevo marco en el desarrollo denominado Apache Tez, que está diseñado para mejorar el rendimiento de la colmena para las consultas de tipo por lotes y apoyar más pequeña interactiva (también conocido como tiempo realconsultas). En el momento de escribir esto, el proyecto Apache Tez todavía está en incubación, y aún no dispone de una versión lista para producción.

Si se ayuda a visualizar cómo todas las piezas encajan entre sí, pensar en los sistemas HDFS y MapReduce como partes del sistema operativo Apache Hadoop, con Colmena -, así como otros componentes, tales como HBase - como funciones de nivel superior o aplicaciones. (Se puede ver un tema común emergen: HDFS proporciona el almacenamiento y MapReduce proporciona la capacidad de procesamiento paralelo para funciones de nivel superior dentro del ecosistema de Hadoop.)

Subiendo el diagrama, se encuentra el controlador de la colmena, que compila, optimiza y ejecuta el HiveQL. El controlador de la colmena puede optar por ejecutar instrucciones y órdenes HiveQL localmente o generar un trabajo MapReduce, dependiendo de la tarea en cuestión. La colmena tiendas piloto de tablas de metadatos en el meta almacén y su base de datos.

Es probable que tenga una cierta familiaridad con SQL y el modelo de base de datos relacional del mundo de los RDBMS. UN mesa o relación se compone de columnas verticales y filas horizontales. Células donde se almacenan las filas y columnas se cruzan. Si usted no está familiarizado con SQL y el modelo de base de datos relacional, se puede encontrar fuentes de aprendizaje votos usando su motor de búsqueda favorito.

Por defecto, la colmena incluye Apache Derby RDBMS configurado con el meta almacén en lo que se llama modo incrustado. modo incrustado significa que el conductor de la colmena, el meta almacén, y Apache Derby están ejecutando en una máquina virtual de Java (JVM).

Video: LA CIUDAD DE LAS HORMIGAS

Esta configuración es correcta para fines de aprendizaje, pero el modo incrustado sólo puede soportar una única sesión de la colmena, por lo que normalmente no se utiliza en entornos de producción multi-usuario. Existen otros dos modos - local y remoto - que puede apoyar mejor varias sesiones colmena en entornos de producción. Además, se puede configurar cualquier RDBMS que es compatible con la interfaz de baño (API) de Java Database Connectivity (JDBC) de programación de aplicaciones. (Ejemplos aquí incluyen MySQL y DB2.)

La clave para el soporte de aplicaciones es la colmena Thrift Server, que permite un amplio conjunto de clientes para acceder al subsistema de la colmena. El código abierto SQuirrel cliente SQL se incluye como un ejemplo. El punto principal es que cualquier aplicación compatible con JDBC puede acceder a través de la colmena el controlador JDBC incluido.

La misma afirmación se aplica a los clientes compatibles con conectividad abierta de bases de datos (ODBC) - por ejemplo, unixODBC y la utilidad isql, que normalmente se incluye con Linux, permiten el acceso a la colmena de los clientes remotos Linux.

Además, si utiliza Microsoft Excel, se le complace saber que se puede acceder a la colmena después de instalar el controlador de Microsoft ODBC en el sistema cliente. Por último, si necesita acceder a la sección en lenguajes de programación distintos de Java (PHP o Python, por ejemplo), Apache Thrift es la respuesta. Apache Thrift clientes se conectan a través de la Colmena de la Colmena Thrift servidor, al igual que los clientes hacen JDBC y ODBC.

Para continuar con el dibujo arquitectura de la colmena, colmena en cuenta que incluye una interfaz de línea de comandos (CLI), donde se puede utilizar una ventana de terminal de Linux para realizar consultas y órdenes administrativas directamente al conductor de la colmena. Si un enfoque gráfico es más su velocidad, también hay una interfaz web accesible para que pueda acceder a sus tablas y datos administrados por colmena a través de su navegador favorito.

Hay otra tecnología de navegador web conocido como Matiz que proporciona una interfaz gráfica de usuario (GUI) para Apache colmena. Algunos usuarios de Hadoop gustaría tener una interfaz gráfica de usuario a su disposición en lugar de sólo una interfaz de línea de comandos (CLI). Junto con la colmena, Hue es compatible con otras tecnologías clave de Hadoop, así como HDFS, MapReduce / HILO, HBase, Zookeeper, Oozie, cerdo, y Sqoop. Que te gusta el nombre de interfaz gráfica de usuario de Apache Hive de Hue - se llama cera de abejas.