Requisitos previos de ajuste hbase

Cualquier instalación seria HBase requiere un poco de configuración estándar en el clúster y en los nodos individuales. Unos pocos ejemplos se proporcionan aquí. En primer lugar echar un vistazo a la monitorización y gestión.

Herramientas para monitorear el clúster

Si usted ha tenido el privilegio de dirigir un sistema en algún momento de su carrera, usted sabe que se enfrenta el gran reto de dar con una rigurosa serie de pruebas para asegurarse de que su sistema está listo para su fase de producción. Si usted no planea para probar y depurar derecha en la delantera, es probable que pierda sus plazos de producción o fracasan por completo.

Los committers HBase y Hadoop se aseguraron de que tendría un subsistema de métricas rica de aprovechar durante la fase de depuración y prueba. Puede encontrar todos los detalles desordenado en el documentación de Apache HBase en línea, especialmente las secciones relativas a HBase backup y replicación.

La función de replicación de la agrupación es una herramienta clave a la hora de depuración, ajuste o si desea ejecutar MapReduce contra las tablas sin afectar al rendimiento. Obviamente, lo necesitará para el desastre recuperar también.

Primeros pasos con el conjunto de herramientas de gestión de Hadoop es sorprendentemente fácil. HBase aprovecha la tecnología Java Gestión de extensiones (JMX) para exponer las métricas clave. Y con la máquina virtual de Java, también puede obtener la herramienta JConsole, un cliente JMX libre que se puede utilizar para ver las métricas HBase.

La distribución HBase que hemos estado trabajando con (0.94.7) permite el acceso a través de JConsole por defecto, por lo que en su entorno autónomo sólo tiene que seleccionar el servidor HBase que desea supervisar y JConsole continuación se presenta con una interfaz gráfica de usuario para su visualización clave las medidas del servidor.

Puede iniciar la herramienta JConsole con el siguiente comando: $ JAVA_HOME / bin / jconsole

Además, usted debe familiarizarse con estas otras dos tecnologías de código abierto para el seguimiento de su clúster HBase:

Video: Inmigración: I-864- Cinco requisitos para patrocinar una carta de sostenimiento

• ganglios: A menudo se utiliza para proporcionar gráficos de seguimiento a través del tiempo, los ganglios puede ayudar a identificar problemas que se producen de vez en cuando o sólo después de días de operación.

• Nagios: Nagios es útil si usted es un administrador de HBase y desea recibir una página de su buscapersonas o un e-mail si, por ejemplo, un RegionServer baja o si tiene un problema de recolección de basura en el clúster.

Si está aprovechando HBase como parte de un producto comercial, asegúrese de consultar con su proveedor para una herramienta para controlar y gestionar HBase.

la configuración del clúster

HBase normalmente se despliega en un clúster, y usted tendrá que hacer algunos ajustes en cada uno de sus servidores para alojar los HBase. Un buen primer paso es asegurarse de que los relojes del sistema en cada servidor en el clúster están sincronizados.

Fuera de los relojes del sistema de sincronización en sus servidores realmente puede confundir HBase, a fin de comprobar a cabo el protocolo de tiempo de red NTP o, para abreviar. Ejecución de la NTP en el clúster se hará cargo de cualquier problema de sincronización de tiempo.

Por otra parte, HBase es una aplicación única en ciertos aspectos, ya que hace hincapié en su sistema más allá del nivel que las aplicaciones pueden hacer. La verdad es que HBase se va a abrir una gran cantidad de archivos - eso es sólo la naturaleza de la bestia.

Video: Inmigración: Ajuste de Estatus por matrimonio - sugerencias para una entrevista

Teniendo en cuenta este hecho, es necesario asegurarse de que sus sistemas operativos están configurados para manejar lo que es seguro que será una carga del sistema de archivos que dista de ser típico. El intercambio de Linux en su sistema (que se mueven entre el disco y la memoria, en otras palabras) que opera puede tener efectos muy negativos sobre Zookeeper.

Finalmente, está la Máquina Virtual Java (JVM) que en última instancia se ejecuta en cada uno de sus nodos y ejecuta los procesos HBase. HBase también ejerce presión lejos de ser típico en la JVM. (Por ejemplo, la caché MEMSTORE, que en gran medida ejerce el sistema de recolección de basura, es seguro que será gravada al máximo.)

Cuando el MEMSTORE se ha comprometido a HFiles en el HDFS, el montón de Java se recupera. Esto puede dar lugar a la recolección de basura larga pausa si su JVM no está configurado correctamente.

Así, por todas estas razones y más se debe revisar estos dos secciones de la documentación en línea Apache HBase:

• Requisitos generales de configuración: Repaso Capítulo 2 de la documentación de Apache HBase en línea y especialmente la sección 2.5 titulado “Las configuraciones importantes“.

• Máquina virtual de Java: Determinar qué máquina virtual que se está ejecutando y asegúrese de que ha sido probado para la compatibilidad con HBase. La documentación en línea Apache HBase sugiere Java 6 de Oracle Java 7, porque no ha sido completamente probado.

  Otra JVM es J9 de IBM. Si va a utilizar J9, revise la documentación de IBM para las últimas opciones de línea de comandos al iniciar sus JVM.

de compresión que permite

La compresión aumenta el rendimiento mediante la reducción de HBase de entrada / salida de disco en general. Considere habilitar la compresión a menos que sus datos no se comprimen bien (imágenes, por ejemplo) o si sus RegionServers no pueden manejar la carga de CPU adicional que requiere la compresión y descompresión.

La compresión se puede activar a través del comando shell HBase. Por defecto, la compresión está inhabilitada por familia columna. Los tipos de compresión soportados son Gzip, LZO y Snappy (con algunos otros derivados disponibles y más en el camino). GZIP es mejor en general para lograr una buena relación de compresión, pero lzo y Snappy son más rápidos.

Tenga en cuenta, sin embargo, que tanto lzo y códecs de compresión Snappy deben ser instalados por separado- sólo funciona Gzip sin más pasos de configuración. La lista muestra los pasos que había necesidad de habilitar la compresión gzip en la tabla de clientes Información de contacto:

hbase (principal): 007: 0gt; desactivar `CustomerContactInfo`hbase (principal): 010: 0gt; alterar `CustomerContactInfo`, {NAME = gt; `CustomerName`, compresión = gt; `GZ`} hbase (principal): 014: 0gt; describir `CustomerContactInfo`&hellip-{NAME = gt; `CustomerName`, REPLICATION_SCOPE = gt; `0`, KEEP_DELETED_CELLS = gt; `False`, compresión = gt; `GZ`,&hellip-hbase (principal): 017: 0gt; enable `CustomerContactInfo`