¿Qué es la ingeniería de datos?
Video: Ingeniería de sistemas
Si Ingenieria es la práctica de utilizar la ciencia y la tecnología para diseñar y construir sistemas que resuelvan los problemas, entonces se puede pensar en la ingeniería de datos como el dominio de la ingeniería que se dedica a la superación de los cuellos de botella de procesamiento de datos y problemas de manejo de datos para aplicaciones que utilizan grandes volúmenes de datos.
ingenieros de datos utilizan habilidades en ciencias de la computación e ingeniería de software para diseñar sistemas para, y resolver problemas con, el manejo y la manipulación de grandes conjuntos de datos. ingenieros de datos tienen experiencia trabajando con y el diseño de los marcos de procesamiento en tiempo real y plataformas Massively Parallel Processing (MPP), así como los sistemas de gestión de bases de datos relacionales.
Por lo general, el código en Java, C ++ y Python. Ellos saben cómo implementar Hadoop MapReduce o para manejar, procesar y refinar grandes datos en conjuntos de datos de tamaño más manejable. En pocas palabras, con respecto a la ciencia de datos, con el fin de ingeniería de datos es diseñar soluciones de datos grandes mediante la construcción coherente, modulares y escalables plataformas de procesamiento de datos de la que los científicos de datos pueden posteriormente derivar penetraciones.
La mayoría de los sistemas de ingeniería son Los sistemas construidos - sistemas que se construyen o fabrican en el mundo físico. la ingeniería de datos es diferente, sin embargo. Se trata de diseñar, construir e implementar soluciones de software a problemas en el mundo de los datos - un mundo que puede parecer bastante abstracto, en comparación con la realidad física del puente Golden Gate o la presa de Asuán.
El uso de habilidades de ingeniería de datos, puede hacer cosas como
Construir software a gran escala como aplicaciones de servicio (SaaS).
Construir y personalizar las aplicaciones de Hadoop MapReduce y.
Video: Ingeniería de Software ¿Qué es el Software?
Diseño y construcción de bases de datos relacionales y altamente arquitecturas distribuidas a escala para el procesamiento de grandes volúmenes de datos.
Extraer, transformar y cargar datos (ETL) de una base de datos a otra.
Video: Diferencias entre Ingeniería en Sistemas , Computación e Informática | Vida de Programador #19
ingenieros de datos necesitan habilidades sólidas en ciencias de la computación, diseño de base de datos, e ingeniería de software para poder realizar este tipo de trabajo.
Software como servicio (SaaS) es un término que describe los servicios de software alojados en la nube que se ponen a disposición de los usuarios a través de Internet.