Extracción de los datos, el movimiento y la carga de lujo almacén de datos

implementaciones de almacenamiento de datos de lujo son grandes - y cada vez más grande todo el tiempo. Las implementaciones que utilizan cientos de gigabytes (un gigabyte equivale a 1 mil millones de bytes) y terabytes pares (1 billón de bytes) son cada vez más comunes. Para gestionar este volumen de datos y acceso de los usuarios, se necesita un servidor muy robusto y base de datos.

Prepararse para el desafío! Lite con un almacén de datos, por lo general puede manejar el movimiento de fuente a almacén de datos en una, de manera directa de baja tecnología - pero con el lujo de almacenamiento de datos, que está ahora entrando en la zona de dificultad, donde muchos de datos de proyectos de almacenamiento cumplen con su Waterloo.

Es probable que experimente dificultades en este ámbito por varias razones:

Video: CABINA DE LUJO

• Usted está tratando con muchas fuentes de datos diferentes, algunas de las cuales podrían contener datos superpuestos. Por ejemplo, la información de los proveedores podría venir de dos diferentes sistemas de compra, y algunos de sus proveedores tienen entradas en ambos sistemas.

  Probablemente encontrará con diferentes grupos de identificadores que tienen que converger (por ejemplo, seis caracteres alfanuméricos que son identificados como el SUPPLIER_ID en uno de los sistemas y un entero único conocido como SUP_NUM en el otro).

• Si su almacén de datos es grande (mide más de alrededor de 250 gigabytes), es muy probable que experimente dificultades para extraer, mover y cargar sus ventanas por lotes. ventanas batch, los periodos de tiempo en los que se hacen cambios a la bodega, se complican por el número de fuentes de datos que tienen que manejar.

• Las posibilidades de tener una, movimiento, transformación y proceso de carga de extracción ensuciado-up es exponencialmente relacionados con el número de elementos de datos a cargar en el almacén de datos.

  Si se pudiera asignar algún factor de dificultad (un entero, por ejemplo) para el proceso de obtención de datos en el almacén, las siguientes medidas serían aplicables: Usted tiene norte los elementos de datos que desea incluir en el almacén de datos con un factor de dificultad de x. Si ahora tiene 2norte elementos de datos, su factor de dificultad no es 2x- más bien, es x al cuadrado.

  Para hacer este factor de dificultad más fácil de entender, asignar a algunos números norte y x. Decir que su almacén de datos tiene 100 elementos (norte) y el factor de dificultad (x) es 5. Si se duplica el número de elementos (norte = 200), el factor de dificultad es 25 (5 al cuadrado), no 10 (5 x 2).

  Video: Lo que es tener amor y pasión a su trailer del 9529 de Castores

• El proceso de tratar con tantas fuentes de datos, todo se dirigió hacia un lugar (el almacén de datos de lujo), tiene todos los elementos de demasiados cocineros en la cocina, o lo que es dicho.

  Video: International LoneStar Tracto Camiones USA Arequipa

  Para hacer la extracción, el movimiento, la transformación y proceso de carga sin problemas, es probable que tenga que tratar con muchos diferentes propietarios de las aplicaciones, los encargados oficiales de la base de datos, y otras personas de una variedad de diferentes organizaciones, todos los cuales tienen que cooperar como lo `re parte de una orquesta sinfónica profesional.

  La realidad, sin embargo, es que se realizan más como un grupo de estudiantes de jardín infantil que cada uno escoja un instrumento musical de la papelera de juguete y les dice: “Ahora toca algo!” A pesar de que el proceso no está necesariamente condenado al fracaso, le espera una serie de iteraciones hasta que pueda conseguir el lujo de almacenamiento de datos cargado a la perfección.

Un lujo de almacenamiento de datos puede tener tres niveles (como un almacén de datos Lite), excepto con más fuentes de datos y tal vez más de un tipo de herramienta de usuario que accede al almacén. Pero la arquitectura de lujo almacén de datos probablemente se parece más a lo que se muestra en esta figura, con muchos diferentes puntos de recogida de datos.

Video: EXXPRESOS DE LUJO,EXXPRES OF LUXE (parte2)

Además de otras estaciones necesarias “camino” para su entorno particular, su entorno podría tener los siguientes elementos:

• mercado de datos: Recibe subconjuntos de información desde el lujo de almacenamiento de datos y sirve como el principal punto de acceso para los usuarios.

• estación de transformación provisional: Un área en la que grupos de datos extraídos de algunas de las fuentes de someterse a algún tipo de proceso de transformación antes de pasar por la tubería hacia la base de datos del almacén.

• estación de aseguramiento de la calidad: Un área en la que grupos de datos se someten a controles intensivos de control de calidad antes de dejar que ellos se mueven en el almacén de datos.