Ibm gran sql y hadoop

IBM tiene una larga historia de trabajo con SQL y la tecnología de base de datos. De acuerdo con esta historia, la solución de IBM para SQL en Hadoop aprovecha los componentes de sus tecnologías de bases de datos relacionales que se portan a ejecutar en Hadoop.

Video: Big SQL 3.0: A Leap Forward for SQL on Hadoop

Si usted está en todo familiarizado con el nombre del producto de IBM para sus productos y características de grandes volúmenes de datos, se puede adivinar fácilmente lo que han llamado su SQL en solución Hadoop: Big SQL. El objetivo de la Gran SQL es proporcionar una interfaz SQL en Hadoop que ofrece a los usuarios la mayor cantidad posible de lo que están acostumbrados con interfaces SQL para bases de datos relacionales.

Esto significa apoyo extensa sintaxis de la consulta, su gran rendimiento que no requiere que los usuarios tengan que mono con sus consultas, y la capacidad de controlar la seguridad de datos.

Video: What is Hadoop?: SQL Comparison

La figura muestra una implementación parcial de BigInsights, la distribución de Hadoop de IBM corriendo Gran SQL.

Video: Welcome to the IBM Big SQL Technology Preview

Aquí, se puede ver un subconjunto de los nodos maestros y nodos de datos detrás del firewall BigInsights. Uno de los nodos maestros se ejecuta el servidor SQL grande, que incluye compilador de SQL de IBM y optimizador. También se incluye en este nodo maestro es un catálogo, donde se almacenan los metadatos y estadísticas acerca de los datos catalogados en HDFS para su uso por el compilador / optimizador.

Subsecciones de consultas se envían a los nodos de datos aplicables en el que se almacenan los datos solicitados, y allí el gran tiempo de ejecución de SQL (que es el tiempo de ejecución de SQL de IBM) ejecuta la carga de trabajo. En lugar de ejecutar procesos reductores y mapeador y persisten los archivos con conjuntos de resultados intermedios, Big SQL utiliza en funcionamiento continuo demonios que pasan mensajes entre sí.

Video: IBM Certified Hadoop Training at DeZyre.com (Part 1)

Es importante señalar que los datos sean consultadas son almacenados y gestionados por Hadoop. Gran SQL es compatible con los formatos de archivo estándar Hadoop - por ejemplo, fichero de recursos y el parqué.

Gran SQL proporciona la misma amplio soporte de SQL como los productos de base de datos relacional de IBM - por ejemplo, ANSI SQL-2011, y la compatibilidad de Lenguaje de procedimientos SQL de IBM (SQL / PL). (En el momento de la escritura, IBM estaba trabajando en la prestación de apoyo para el dialecto SQL de Oracle y su lenguaje de procedimientos PL / SQL).

Junto con el motor de SQL estándar de IBM recorrido un número de otras capacidades, sobre todo de IBM de fila y la seguridad basada en columnas (también conocido como grano fino control de acceso, o FGAC), donde sólo los usuarios específicos pueden ser autorizados para ver ciertos conjuntos de filas o columnas de datos.

SQL grande viene con el cliente estándar de IBM Data Server, que incluye un paquete de controladores. aplicaciones de bases de datos tradicionales pueden conectarse al clúster Hadoop BigInsights y segura intercambiar datos cifrados a través de SSL.