La capa 3 de la gran pila de datos: la organización de los servicios de datos y herramientas
Video: Cambiar pila de reloj con Herramienta casera
La organización de los servicios de datos y herramientas, capa 3 de la pila grande de datos, captura, validar y montar varios elementos de datos grandes en colecciones contextualmente pertinentes. Debido a los grandes datos es enorme, las técnicas han evolucionado para procesar los datos de manera eficiente y sin problemas. MapReduce es una técnica muy usada. Baste decir aquí que muchos de estos servicios de datos de la organización son los motores de MapReduce, diseñado específicamente para optimizar la organización de los flujos de datos grandes.
Video: "El LHC: La máquina del Big Bang" (III Conferencia Internacional de Cultura Científica)
La organización de los servicios de datos son, en realidad, un ecosistema de herramientas y tecnologías que se pueden utilizar para recoger y reunir datos en preparación para su posterior procesamiento. Como tal, las herramientas deben proporcionar la integración, la traducción, la normalización y la escala. Tecnologías en esta capa incluyen los siguientes:
Un sistema de archivos distribuido: Necesaria para dar cabida a la descomposición de los flujos de datos y para proporcionar capacidad de la báscula y almacenamiento
servicios de serialización: Necesaria para el almacenamiento de datos persistente y llamadas a procedimientos remotos en varios idiomas (RPC)
servicios de coordinación: Necesarios para la construcción de aplicaciones distribuidas (bloqueo y así sucesivamente)
Extraer, transformar y carga (ETL): Necesario para la carga y conversión de datos estructurados y no estructurados en Hadoop
servicios de flujo de trabajo: Necesario para la programación de puestos de trabajo y proporcionar una estructura para la sincronización de elementos de proceso a través de capas