Middleware para el almacenamiento de datos
El middleware es un software informático que conecta los componentes de software. En un entorno de almacenamiento de datos, los servicios de middleware son el conjunto de programas y rutinas que hacer lo siguiente:
Extraer datos de la fuente (o fuentes).
Asegúrese de que de los datos correctos.
Mover los datos de todo el entorno de plataforma en plataforma, según sea necesario.
Manejar cualquier transformaciones de los datos necesarios.
Cargar los datos en la base de datos del almacén de datos (o bases de datos).
En un sentido más formal, los elementos de la lista anterior son manejados por estos servicios de middleware:
selección de datos y la extracción
aseguramiento de la calidad de los datos, parte I (a nivel de componentes)
El movimiento de datos, parte I (también a nivel de componentes)
mapeo de datos y la transformación
Los datos de control de calidad, parte II (después de haberse producido la transformación)
El movimiento de datos, parte II (en el entorno de la plataforma del almacén de datos)
carga de datos (en el almacén de datos)
Esta figura ilustra cómo estos servicios middleware confluyen en un entorno de almacenamiento de datos de tamaño moderado.
Pero su entorno de almacenamiento de datos puede ser diferente del que se muestra en esta figura, particularmente en el área de los servicios de movimiento de datos. Un servicio de movimiento de datos es necesaria cada vez que los límites del sistema cruces de datos. Su cuadro conceptual difiere, dependiendo de los detalles de su entorno particular de extremo a extremo.
A pesar de todo, positivamente necesita para planificar, diseñar, y de otra manera pensar en los datos de almacén intermedio en términos de los servicios individuales de la lista anterior, más que en términos genéricos, como “herramientas de extracción.” Muchos proveedores diferentes proporcionan algunos, muchos o todos estos servicios como parte de un único producto o un conjunto de productos.
Sino una herramienta que tiene fuertes servicios de mapas y de transformación, por ejemplo, podría ser débil en los servicios de carga de datos, o una herramienta que proporciona un amplio conjunto de servicios de extracción podría ser menos eficaz en el espacio de asignación y transformación, además de la calidad de los datos garantía.
Antes de seleccionar una herramienta para su proyecto de almacenamiento de datos (si esa es la ruta que toma, en lugar de la codificación personalizada), asegúrese de que usted tiene una buena idea acerca de los desafíos particulares de su entorno. Si usted tiene necesidades relativamente sencillas de extracción de datos, por ejemplo, pero difíciles problemas de calidad de datos, concentrarse en encontrar la mejor herramienta de garantía de calidad disponible, incluso si tiene sólo regular capacidades de extracción.
(Este consejo se aplica incluso si la herramienta no tiene capacidades de extracción, en cuyo caso, hay que combinarlo con otra herramienta.)