Clasificación de imágenes con hadoop

Clasificación de imágenes requiere una cantidad significativa de recursos de procesamiento de datos, sin embargo, lo que ha limitado la escala de los despliegues. la clasificación de imágenes es un tema candente en el mundo Hadoop porque ninguna tecnología dominante era capaz - hasta que llegó Hadoop - de abrir las puertas para este tipo de procesamiento caros en una escala tan masiva y eficiente.

Video: Hadoop Architecture

Clasificación de la imagen comienza con la idea de que se construye un conjunto de entrenamiento y que los ordenadores aprender a identificar y clasificar lo que están viendo. De la misma manera que el tener más datos ayuda a construir mejores modelos de detección de fraude y riesgo, sino que también ayuda a los sistemas para clasificar mejor las imágenes.

En este caso de uso, los datos se conoce como el conjunto de entrenamiento, así como los modelos son clasificadores. clasificadores reconocer las características o patrones dentro de sonido, imagen o vídeo y clasificarlos adecuadamente. Clasificadores se construyen y iterativamente refinado a partir de conjuntos de entrenamiento para que sus puntuaciones de precisión (una medida de exactitud) y recuerdan puntuaciones (una medida de cobertura) son altos.

Video: video clasificacion de las imagenes 15 de abril

Hadoop es muy adecuado para la clasificación de imágenes, ya que proporciona un entorno de procesamiento paralelo masivo no sólo para crear modelos de clasificadores (iteración en conjuntos de entrenamiento) sino que también proporcionan escalabilidad casi ilimitada para procesar y ejecutar los clasificadores a través de conjuntos masivos de los volúmenes de datos no estructurados.

Considere fuentes multimedia como YouTube, Facebook, Instagram y Flickr - todos son fuentes de datos binarios no estructurados. La figura muestra una forma que puede utilizar Hadoop para escalar el procesamiento de grandes volúmenes de imágenes y vídeo almacenados para la clasificación semántica multimedia.

Se puede ver cómo se aplican todos los conceptos relacionados con el marco de procesamiento de Hadoop a estos datos. Observe cómo las imágenes se cargan en HDFS. Los modelos de clasificadores, construidas con el tiempo, se aplican ahora a los componentes de características de imagen adicionales en la fase de Mapa de esta solución. Como se puede ver en la esquina inferior derecha, la salida de este tratamiento consiste en las clasificaciones de imágenes que van desde dibujos animados a los deportes y lugares, entre otros.

Hadoop se puede utilizar para el análisis de audio o de voz, también. Un cliente de la industria de seguridad, trabajamos con crea un sistema de clasificación de audio para clasificar los sonidos que se escuchan a través de cables de fibra óptica acústicas enriquecida establecidos alrededor del perímetro de los reactores nucleares.

Por ejemplo, este sistema sabe cómo clasificar casi instantáneamente el susurro del viento en comparación con el susurro de una voz humana o para distinguir el sonido de pasos humanos que se ejecutan en las zonas verdes perimetrales de la de la vida silvestre.

Esta descripción puede tener una especie de Star Trek sienten a la misma, pero ahora se puede ver ejemplos en vivo. De hecho, IBM hace público uno de los mayores sistemas de clasificación de imágenes en el mundo, a través de la Análisis Multimedia IBM y sistema de recuperación (IMARS).

Éstos son el resultado de una búsqueda por el término IMARS esquí alpino. En la parte superior de la figura, se puede ver los resultados de los clasificadores mapeadas para el conjunto de imágenes que se procesó por Hadoop, junto con una nube de etiquetas asociada.

Tenga en cuenta el clasificador de los padres más grueso definido, en contraposición a la más granular. De hecho, cuenta de los múltiples niveles de clasificación: rollos en que los rollos en - todos generados automáticamente por el modelo clasificador, construido y calificado usando Hadoop.

Ninguna de estas imágenes tiene ningún metadatos añadido. Nadie ha abierto iPhoto y etiquetada una imagen como un deporte de invierno para hacer que se muestre en esta clasificación. Es el clasificador de deportes de invierno que fue construido para reconocer los atributos de imagen y características de los deportes que se juegan en un ambiente de invierno.

Clasificación de imágenes tiene muchas aplicaciones, y ser capaz de llevar a cabo esta clasificación a una escala masiva utilizando Hadoop abre más posibilidades para el análisis como otras aplicaciones pueden utilizar la información de clasificación generada por las imágenes.

Video: Hadoop Hive Tutorial For Beginners | Apache Hive Tutorial

Mira este ejemplo de la industria de la salud. Una agencia de salud grande en Asia se centró en la prestación de atención de salud a través de clínicas móviles para una población rural distribuido a través de una gran masa de tierra. Un problema importante que enfrenta la agencia fue el reto logístico de analizar los datos de imágenes médicas que se generan en sus clínicas móviles.

Un radiólogo es un recurso escaso en esta parte del mundo, así que tiene sentido para transmitir electrónicamente las imágenes médicas a un punto central y tienen un ejército de médicos los examinan. Los médicos que examinan las imágenes estaban sobrecargados rápidamente, sin embargo.

La agencia está trabajando en un sistema de clasificación para ayudar a identificar posibles condiciones de proporcionar efectivamente sugerencias para los médicos a verificar. Las primeras pruebas han demostrado que esta estrategia para ayudar a reducir el número de diagnósticos omitidos o inexactos, ahorrando tiempo, dinero, y - sobre todo - vidas.