La opción de preproceso de datos híbrido en hadoop

Video: Популярные Video – Hadoop

Además de tener que almacenar grandes volúmenes de datos en frío, una presión que se ve en los almacenes de datos tradicionales es que las cantidades de recursos de procesamiento cada vez mayor están siendo utilizados para la transformación cargas de trabajo (ELT).

Video: Hadoop Interview Questions

La idea detrás del uso de Hadoop como un motor de procesamiento previo para manejar la transformación de datos significa que los ciclos de procesamiento preciosos son liberados, lo que permite el almacenamiento de datos a que se adhieran a su propósito original: Responder a las preguntas repetidas de negocio para soportar aplicaciones analíticas. Una vez más, se está viendo cómo Hadoop puede complementar las implementaciones tradicionales de almacenamiento de datos y mejorar su productividad.

Tal vez una pequeña bombilla, imaginario ha iluminado sobre su cabeza y usted está pensando, “Hey, tal vez hay son algunas tareas de transformación perfectamente adecuado para la capacidad de procesamiento de datos de Hadoop, pero sé que también hay una gran cantidad de trabajo de transformación llena de algebraica, paso a paso, tareas en las que se ejecuta SQL en un motor de base de datos relacional sería la mejor opción. ¿No sería genial si pudiera ejecutar SQL en Hadoop?”

Video: MapReduce - Hadoop | Serge Abiteboul

SQL en Hadoop ya está aquí. Con la posibilidad de realizar consultas SQL en los datos en Hadoop, no está atascado con sólo un enfoque ETL a sus flujos de datos - también se puede implementar aplicaciones ELT-como.

Otro enfoque híbrido a considerar es donde correr su lógica de transformación: en Hadoop o en el almacén de datos? Aunque algunas organizaciones están preocupados acerca de la ejecución de análisis de cualquier cosa menos en sus bodegas, el hecho es que las bases de datos relacionales son excelentes para ejecutar SQL, y podría ser un lugar más práctico para ejecutar una transformación de Hadoop.