comandos de administración de Hadoop

Cualquier administrador de Hadoop que se precie debe dominar un amplio conjunto de comandos para la administración del clúster. La siguiente lista resume los comandos más importantes, lo que indica lo que hace el comando, así como la sintaxis y ejemplos. Conocerlos, y se avanzará un largo camino a lo largo del camino hacia la sabiduría Hadoop.

balancín: Ejecuta la utilidad de clúster de equilibrio. El valor umbral especificado, lo que representa un porcentaje de la capacidad del disco, se utiliza para sobrescribir el valor de umbral predeterminado (10 por ciento). Para detener el proceso de reequilibrio, pulse Ctrl + C.

Sintaxis: hadoop equilibrador [-threshold ]

Ejemplo: equilibrador hadoop -threshold 20

daemonlog: Obtiene o establece el nivel de registro para cada daemon (también conocido como un servicio). Se conecta a http: // host: puerto / logLevel log = nombre y las impresiones o establece el nivel de registro del demonio que se está ejecutando en el Puerto host. demonios Hadoop generan archivos de registro que le ayudan a determinar lo que está sucediendo en el sistema, y se puede utilizar el daemonlog comando para cambiar temporalmente el nivel de registro de un componente de Hadoop cuando se está depurando el sistema. El cambio se hace efectivo cuando se reinicia el demonio.

Sintaxis: hadoop daemonlog -getlevel - hadoop daemonlog -setlevel

Ejemplo: hadoop daemonlog -getlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker- hadoop daemonlog -setlevel DEBUG 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker

DataNode: Se ejecuta el servicio DataNode HDFS, que coordina el almacenamiento en cada nodo esclavo. Si especifica -rollback, DataNode se revierte a la versión anterior. Detener la DataNode y distribuir la versión anterior Hadoop antes de usar esta opción.

Sintaxis: hadoop DataNode [-rollback]

Ejemplo: hadoop -rollback DataNode

dfsadmin: Se ejecuta una serie de operaciones administrativas Hadoop Distributed File System (HDFS). Utilizar el -ayuda opción para ver una lista de todas las opciones soportadas. Las opciones genéricas son un conjunto común de opciones soportadas por varios comandos.

mradmin: Se ejecuta una serie de operaciones administrativas MapReduce. Utilizar el -ayuda opción para ver una lista de todas las opciones soportadas. Una vez más, las opciones genéricas son un conjunto común de opciones que son compatibles con varios comandos. Si especifica -refreshServiceAcl, vuelve a cargar el archivo de política de autorización de nivel de servicio (JobTracker vuelve a cargar el archivo de política de autorización) - -refreshQueues Vuelve a cargar las listas de control de acceso cola (ACL) y estado (JobTracker vuelve a cargar la mapred-queues.xml archivo)- -refreshNodes actualiza la información de anfitriones en la JobTracker- -refreshUserToGroupsMappings refresca de usuario a grupos mappings- -refreshSuperUserGroupsConfiguration refreshes grupos de servidores proxy de superusuario mappings- y -ayudar a [cmd] visualiza la ayuda para el comando dado o para todos los comandos si no se especifica ninguno.

Video: Hadoop Tutorial 1 - What is Hadoop?

Sintaxis: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

Ejemplo: hadoop mradmin -help -refreshNodes

Video: Ejemplo Hadoop en la IDE Eclipse en Ubuntu

JobTracker: Ejecuta el nodo MapReduce JobTracker, que coordina el sistema de procesamiento de datos para Hadoop. Si especifica -dumpConfiguration, la configuración que se utiliza por el JobTracker y la configuración de la cola en formato JSON se escriben en la salida estándar.

Sintaxis: hadoop JobTracker [-dumpConfiguration]

Ejemplo: hadoop -dumpConfiguration JobTracker

NameNode: Corre el NameNode, que coordina el almacenamiento para todo el clúster Hadoop. Si especifica -formato, NameNode se pone en marcha, el formato, y luego con stopped- -mejorar, NameNode comienza con la opción de actualización después de una nueva versión de Hadoop es distributed- con -rollback, NameNode se revierte a la versión anterior (recuerde parar el cluster y distribuir la versión anterior Hadoop antes de usar esta opción) - con -finalizar, se retira el estado previo del sistema de archivos, la actualización más reciente se convierte en permanente, rollback ya no está disponible, y NameNode es stopped- por último, la -importCheckpoint, una imagen se carga desde el directorio de punto de control (tal como se especifica por el fs.checkpoint.dir propiedad) y se guarda en el directorio actual.

Sintaxis: hadoop NameNode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

Ejemplo: hadoop -finalize NameNode

Video: Алексей Зиновьев — Джунгли Hadoop: мир диких алгоритмов и ядовитых JVM

NameNode secundaria: Ejecuta el NameNode secundaria. Si especifica -control, un puesto de control en el NameNode secundaria se realiza si el tamaño de la EditLog (un registro de transacciones que registra cada cambio que se produce a los metadatos del sistema de archivos) es mayor que o igual a fs.checkpoint.size- especificar -fuerza y un puesto de control se lleva a cabo independientemente de la EditLog tamaño- especifique -geteditsize y el tamaño EditLog se imprime.

Sintaxis: hadoop secondarynamenode [-checkpoint [fuerza]] | [-geteditsize]

Ejemplo: -geteditsize hadoop secondarynamenode

Video: Hadoop Architecture | HDFS Architecture | HDFS Tutorial | Hadoop Tutorial | Edureka

TaskTracker: Se ejecuta un nodo MapReduce TaskTracker.

Sintaxis: TaskTracker hadoop

Ejemplo: TaskTracker hadoop