Archivos distribuido comandos shell del sistema de hadoop

chgrp: Cambia la asociación de un grupo de archivos. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios. El usuario debe ser el propietario del archivo o el superusuario.

Uso: hdfs DFS -chgrp [-R] GRUPO URI [URI ...]

chmod: Cambia los permisos de los archivos. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios. El usuario debe ser el propietario del archivo o el superusuario

Uso: hdfs DFS -chmod [-R] URI [URI ...]

Ejemplo:hdfs DFS 777 -chmodprueba / data1.txt

chown: Cambia el propietario de los archivos. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios. El usuario debe ser el superusuario.

Uso: hdfs DFS -chown [-R] [e-mail] [: [GRUPO]] URI [URI]

Ejemplo:hdfs DFS -chown -R hduser2 / opt / hadoop / logs

copyFromLocal: Funciona de manera similar a la poner de comandos, excepto que la fuente está restringida a una referencia de archivos local.

Uso: hdfs DFS -copyFromLocal URI

Ejemplo: hdfs dfs de entrada / docs / hdfs data2.txt -copyFromLocal: //localhost/user/rosemary/data2.txt

copyToLocal: Funciona de manera similar a la obtener de comandos, excepto que el destino está restringida a una referencia de archivos local.

Uso: hdfs dfs -copyToLocal [-ignorecrc] [-CRc] URI

Ejemplo: hdfs DFS -copyToLocal data2.txt data2.copy.txt

contar: Cuenta el número de directorios, archivos y bytes en virtud de los caminos que coinciden con el patrón de archivo especificado.

Uso: hdfs dfs -count [-q]

Ejemplo: hdfs DFS -count hdfs: //nn1.example.com/file1 hdfs: //nn2.example.com/file2

cp: Copia uno o más archivos de una fuente especificada a un destino especificado. Si especifica múltiples fuentes, el destino especificado debe ser un directorio.

Uso: hdfs DFS -cp URI [URI ...]

Ejemplo: hdfs dfs -cp / user / hadoop / archivo1 / user / hadoop / archivo2 / user / hadoop / dir

du: Muestra el tamaño del archivo especificado, o el tamaño de los archivos y directorios que están contenidos en el directorio especificado. Si especifica el -s opción, se muestra un resumen agregado de tamaño de los archivos en lugar de tamaños de los archivos individuales. Si especifica el -marido opción, da formato a los tamaños de los archivos de una manera “legible”.

Uso: hdfs DFS -du [-s] [-h] URI [URI ...]

Ejemplo: hdfs dfs -du / user / hadoop / dir1 / user / hadoop / archivo1

DUS: Muestra un resumen de archivo equivalente a Sizes- hdfs DFS -du -s.

Uso: hdfs DFS -dus

borrar: Se vacía la papelera. Cuando se elimina un archivo, no se retira inmediatamente de HDFS, pero se cambia el nombre de un archivo en el /basura directorio. Mientras el archivo permanece allí, se puede recuperar si cambia de opinión, aunque sólo la última copia del archivo borrado puede ser restaurado.

Uso: hdfs DFS -expunge

obtener: Copia archivos en el sistema de archivos local. Los archivos que fallan una comprobación de redundancia cíclica (CRC) todavía pueden ser copiados si se especifica la -ignorecrcopción. El CRC es una técnica común para la detección de errores de transmisión de datos. archivos de comprobación CRC tienen la .CRC extensión y se utilizan para verificar la integridad de los datos de otro archivo. Estos archivos se copian si se especifica la -CRC opción.

Uso: hdfs dfs -get [-ignorecrc] [-CRc]

Ejemplo: hdfs dfs -get / user / hadoop / localfile archivo3

Video: Hadoop FS Shell

getmerge: Concatena los archivos en srcy escribe el resultado en el archivo de destino local especificado. Para añadir un carácter de nueva línea al final de cada archivo, especifique la addnl opción.

Uso: hdfs DFS -getmerge [Addnl]

Ejemplo:hdfs DFS -getmerge / usuario / hadoop / mydir / ~ / addnl result_file

ls: devuelve las estadísticas de los archivos o directorios especificados.

Uso: hdfs DFS -ls

Ejemplo: hdfs dfs -ls / user / hadoop / archivo1

LSR: Sirve como la versión recursiva de ls- similar al comando de Unix ls -R.

Uso: hdfs DFS -lsr

Ejemplo: hdfs dfs -lsr / user / hadoop

mkdir: Crea directorios en una o más rutas especificadas. Su comportamiento es similar a la de Unix mkdir -p de comandos, lo que crea todos los directorios que conducen hasta el directorio especificado si no existen ya.

Uso: hdfs DFS -mkdir

Ejemplo: hdfs dfs -mkdir / user / hadoop / dir5 / temp

moveFromLocal: Funciona de manera similar a la poner de comandos, excepto que se elimina la fuente de una vez copiada.

Uso: hdfs DFS -moveFromLocal

Ejemplo: hdfs dfs -moveFromLocal localfile1 localfile2 / user / hadoop / hadoopdir

mv: Mueve uno o más archivos de un origen especificado a un destino especificado. Si especifica múltiples fuentes, el destino especificado debe ser un directorio. No se permite mover archivos a través de sistemas de archivos.

Uso: hdfs DFS -mv URI [URI ...]

Ejemplo: hdfs dfs -mv / user / hadoop / archivo1 / user / hadoop / fichero2

poner: Copia archivos desde el sistema de archivos local para el sistema de archivos de destino. Este comando también se puede leer la entrada de stdin y escribir en el sistema de archivos de destino.

Uso: hdfs DFS -poner ...

Ejemplo: hdfs dfs -poner localfile1 localfile2 / user / hadoop / hadoopdir- hdfs dfs -poner - / usuario / hadoop / hadoopdir (lee la entrada de la entrada estándar)

rm: Elimina uno o más archivos especificados. Este comando no elimina los directorios o archivos vacíos. Para eludir la basura (si está activado) y borrar los archivos especificados de inmediato, especificar el -skipTrash opción.

Uso: hdfs DFS -rm [-skipTrash] URI [URI ...]

Ejemplo: hdfs DFS -rm hdfs: //nn.example.com/file9

tmr: Sirve como la versión recursiva de -rm.

Uso: hdfs DFS -rmr [-skipTrash] URI [URI ...]

Ejemplo: hdfs dfs -rmr / user / hadoop / dir

setrep: Cambia el factor de replicación para un archivo o directorio especificado. Con -R, hace que el cambio de forma recursiva a través de la estructura de directorios.

Uso: hdfs DFS -setrep [-R]

Ejemplo: hdfs dfs -setrep 3 -R / usuario / hadoop / dir1

Video: Contar linux SHELLSCRIPTING

stat: Muestra información sobre la ruta especificada.

Uso: hdfs DFS -stat URI [URI ...]

Ejemplo: hdfs dfs -stat / user / hadoop / dir1

cola: Muestra el último kilobytes de un archivo especificado stdout. La sintaxis apoya el Unix -F opción, que permite que el archivo especificado para ser monitoreado. A medida que se añaden nuevas líneas al archivo por otro proceso, tafligir actualiza la pantalla.

Uso: hdfs dfs -tail [-f] URI

Ejemplo: hdfs dfs -tail / user / hadoop / dir1

prueba: Devuelve los atributos del archivo o directorio especificado. Especifica -mi para determinar si el archivo o directorio existe- -z para determinar si el archivo o directorio está con las manos y -re para determinar si el URI es un directorio.

Uso: hdfs DFS-test - [ezd] URI

Ejemplo: hdfs dfs-test / user / hadoop / dir1

texto: Da salida a un archivo de origen especificado en formato de texto. formatos de archivo de entrada son válidos cremallera y TextRecordInputStream.

Uso: hdfs DFS -text

Ejemplo: hdfs DFS -text /user/hadoop/file8.zip

touchz: Crea un archivo nuevo, vacío de tamaño 0 en la ruta especificada.

Uso: hdfs DFS -touchz

Ejemplo: hdfs dfs -touchz / user / hadoop / file12