Cómo priorizar gran calidad de los datos
Conseguir la perspectiva correcta sobre la calidad de los datos puede ser muy difícil en el mundo de grandes volúmenes de datos. Con la mayoría de las fuentes de datos grandes, es necesario asumir que se está trabajando con datos que no está limpio. De hecho, la abundancia abrumadora de datos aparentemente aleatorios y desconectados en flujos de datos de medios de comunicación social es una de las cosas que lo hacen tan útil para las empresas.
Video: ¿Por qué SUIZA es TAN RICO? - VisualPolitik
Se empieza por buscar petabytes de datos sin saber lo que puede encontrar después de empezar a buscar patrones en los datos. Tienes que aceptar el hecho de que una gran cantidad de ruido existirá en los datos. Es sólo mediante la búsqueda y comparación de patrones que usted será capaz de encontrar algunas chispas de la verdad en medio de algunos datos muy sucios.
Por supuesto, algunas fuentes de datos grandes, tales como datos de etiquetas RFID o sensores tienen reglas mejor establecidos que los datos de medios sociales. datos de los sensores deben ser razonablemente limpia, aunque puede esperar encontrar algunos errores. Siempre es su responsabilidad al analizar grandes cantidades de datos para planificar el nivel de calidad de los datos. Debe seguir un enfoque de dos etapas para la calidad de datos:
Video: Acelerar Internet en PC al Máximo | 2015 | Aumentar velocidad internet
Fase 1: Buscar patrones en grandes volúmenes de datos sin preocuparse por la calidad de los datos.
Video: matriz de priorización
Fase 2: Después de localizar sus patrones y establecer resultados que son importantes para el negocio, aplicar los mismos estándares de calidad de datos que se aplican a las fuentes de datos tradicionales. ¿Quieres evitar recogida y gestión de grandes volúmenes de datos que no es importante para el negocio y la voluntad de otros elementos de datos potencialmente corruptos en Hadoop u otras plataformas de datos grandes.
Al comenzar a incorporar los resultados de su análisis de grandes volúmenes de datos en sus procesos de negocio, reconocer que los datos de alta calidad es esencial para una empresa a tomar decisiones de negocios. Esto es cierto para grandes volúmenes de datos, así como datos tradicionales.
La calidad de los datos se refiere a características acerca de los datos, incluyendo la consistencia, precisión, fiabilidad, integridad, oportunidad, razonabilidad y validez. software de calidad de datos se asegura de que los elementos de datos se representan de la misma manera a través de diferentes tiendas o sistemas de datos para aumentar la consistencia de los datos.
Video: La Calidad de Datos en el mundo Big Data
Por ejemplo, un almacén de datos puede utilizar dos líneas de dirección de un cliente y otro almacén de datos puede utilizar una sola línea. Esta diferencia en la forma en que se representan los datos puede resultar en información inexacta sobre los clientes, como por ejemplo un cliente se identifica como dos clientes diferentes.
Una corporación puede utilizar docenas de variaciones de su nombre de la empresa cuando se compra productos. software de calidad de datos se puede utilizar para identificar todas las variantes del nombre de la empresa en sus diferentes almacenes de datos y asegurarse de que sabe todo lo que las compras de los clientes de este su negocio.
Este proceso se llama proporcionar una visión única de cliente o producto. software de calidad de datos coincide con los datos a través de diferentes sistemas y se limpia o elimina los datos redundantes. El proceso de calidad de datos proporciona el negocio con la información que es más fácil de usar, interpretar y entender.
Datos de herramientas de perfilado se utilizan en el proceso de calidad de datos para ayudar a entender el contenido, la estructura y condición de sus datos. Que recogen información sobre las características de los datos en una base de datos u otro almacén de datos para comenzar el proceso de convertir los datos en una forma más confiable. Las herramientas analizan los datos para identificar los errores e inconsistencias.
Se pueden hacer ajustes para estos problemas y corregir errores. Las herramientas de verificación de los valores aceptables, patrones y rangos y ayudan a identificar los datos superpuestos. El proceso de perfilado de datos, por ejemplo, se comprueba para ver si se espera que los datos a ser alfa o numérico. Las herramientas también comprobar si hay dependencias o para ver cómo los datos se refieren a los datos de otras bases de datos.
Herramientas de datos de perfiles de grandes volúmenes de datos tienen una función similar a las herramientas de datos de perfiles de datos tradicionales. herramientas de perfilado de datos para Hadoop le proporcionará información importante acerca de los datos en racimos de Hadoop. Estas herramientas se pueden utilizar para buscar coincidencias y eliminar duplicaciones. Como resultado, puede asegurarse de que sus datos grande es consistente. herramientas de Hadoop como HiveQL y latín de cerdo se pueden utilizar para el proceso de transformación.