Los principios del diseño sqoop

Video: Hadoop Certification - Sqoop commands - list and eval

Cuando se trata de Sqoop, una imagen es a menudo vale más que mil palabras, así que echa un vistazo a la figura, que le da una vista de pájaro de la arquitectura Sqoop.

Video: How to Import data from mysql to Hadoop using Sqoop

La idea detrás de Sqoop es que se aprovecha mapa tareas - tareas que realizan la importación paralela y exportación de tablas de bases de datos relacionales - derecha desde dentro del marco de Hadoop MapReduce. Esta es una buena noticia porque el marco MapReduce proporciona tolerancia a fallos para los trabajos de importación y exportación, junto con el procesamiento en paralelo!

Video: Sqoop Introduction & Demo

Apreciará la tolerancia a fallos si se produce un fallo en una gran mesa de importación o exportación, porque el marco MapReduce se recuperará sin necesidad de iniciar el proceso de nuevo.

Sqoop puede importar datos a Colmena y HBase. Tenga en cuenta, sin embargo, que las flechas de la colmena y punto HBase en una sola dirección. Los datos almacenados en cualquier base de datos relacional con soporte JDBC se pueden importar directamente en los sistemas de colmena o HBase con Sqoop. Las exportaciones, sin embargo, se realizan a partir de datos almacenados en HDFS.

Video: DISEÑO GRAFICO Y SUS PRINCIPIOS

Por lo tanto, si necesita exportar sus tablas de la colmena, se señala Sqoop a los directorios HDFS que almacenan las tablas de la colmena. Si necesita exportar tablas HBase, primero hay que exportarlos a HDFS y luego ejecutar el comando de exportación Sqoop.