Servicios de middleware: el movimiento de datos y carga de datos

En la mayoría de las situaciones, los dos servicios de middleware - selección y extracción, y el aseguramiento de la calidad - se llevan a cabo en el mismo plataforma (Sistema) en el que reside la fuente de datos. Si su almacén de datos será alojado en una plataforma diferente a la fuente de datos, sin embargo, usted tiene que utilizar un servicio de movimiento de datos para efectuar la transferencia de sistema a sistema de los datos.

Es probable que pueda utilizar un servicio relativamente simple (manejado por un sencillo programa de transferencia de archivos, por ejemplo). El servicio de movimiento, si lo necesita en este momento, simplemente mueve los datos QA`d en el entorno en el que va a realizar transformaciones adicionales.

Si usted está haciendo su transformación y procesamiento de control de calidad en una plataforma que es diferente de la plataforma en la que se ejecuta el almacén de datos de producción (en un servidor de desarrollo, por ejemplo, en lugar de en el servidor operativo), debe ejecutar uno más Data- servicio de movimiento para obtener los datos en el lugar donde desea que resida el tiempo. Este proceso generalmente implica sólo una transferencia de archivos relativamente simple.

El servicio de carga de datos carga el extraída, QA`d, transforma y re-QA`d datos en el almacén. Es posible cargar los datos a través de un programa personalizado, SQL (una instrucción INSERT, por ejemplo), o con una utilidad.

Si necesita cargar un gran volumen de datos, trate de usar una utilidad de carga rápida, que generalmente implica mucho menos tiempo que un enfoque programático o basados ​​en SQL.

Si utiliza SQL para cargar sus datos en una base de datos relacional, tratar de hacer la carga lo más eficiente posible desactivando el registro (si su producto DBMS lo permite). Si el trabajo de carga se termina de forma anormal, sólo tiene que utilizar el DROP o TRUNCATE declaración de deshacerse de su mesa parcialmente cargado, solucionar el problema que causó la terminación, y reiniciar el trabajo.

Este proceso por lo general es mucho más rápido que si a su vez en las instalaciones necesarias para los datos de tipo OLTP y la integridad de la transacción (con una sobrecarga de acompañamiento).