Requisitos de hardware para hbase
HBase es una tecnología poderosa y flexible, pero que acompaña a esta flexibilidad es el requisito para la configuración y puesta a punto adecuada. Eso&tiempo rsquo-s para algunas directrices generales para configurar grupos HBase. Tu &ldquo-kilometraje&rdquo- puede variar, dependiendo de los requerimientos específicos de computación para sus RegionServers (coprocesadores personalizados, por ejemplo) y otras aplicaciones que puede elegir para ubicar en el clúster.
RegionServers
La primera tentación de resistirse a la hora de configurar sus RegionServers se plunking un montón de dinero en efectivo para algunos sistemas de la empresa de gama alta. Don&rsquo-t do it! HBase se suele implementar en servidores x86 de los productos básicos plain vanilla.
Ahora, no tome esa declaración como una licencia para desplegar los servidores más baratos, de baja calidad. Sí, HBase está diseñado para recuperarse de fallos en los nodos, pero su disponibilidad sufre durante los períodos de recuperación por lo que la calidad y la redundancia de hardware hacer importar.
fuentes de alimentación redundantes, así como tarjetas de interfaz de red redundantes son una buena idea para los despliegues de producción. Típicamente, organizaciones eligen dos máquinas zócalo con cuatro a seis núcleos de cada uno.
Video: Trámites para solicitar la visa de turista de Estados Unidos
La segunda tentación de resistir es configurar el servidor con la máxima capacidad de almacenamiento y memoria. Una configuración común incluiría de 6 a 12 terabytes (TB) de espacio de disco y de 48 a 96 gigabytes (GB) de RAM. controladores RAID para los discos son innecesarias porque HDFS proporciona protección de datos cuando los discos fallan.
HBase requiere una lectura y escritura de caché que&rsquo-s asignado desde el almacenamiento dinámico de Java. Mantener esta afirmación en cuenta al leer acerca de las variables de configuración HBase porque&rsquo-ll ver que existe una relación directa entre un RegionServer&rsquo-s capacidad de disco y una RegionServer&rsquo-s pila de Java. Echa un vistazo a una excelente discusión sobre el tamaño de memoria HBase RegionServer.
Video: Inmigración: ¿Cuáles documentos puedo utilizar para tramitar una visa de turista?
El artículo señala que se puede estimar la proporción de espacio de disco sin procesar de almacenamiento dinámico de Java siguiendo esta fórmula:
RegionSize Dividido por Memstoresize multiplicado por Factor de replicación de HDFS multiplicado por HeapFractionForMemstores
Utilizando las variables de configuración HBase predeterminados ofrece esta relación:
10 GB / 128 * 3 * 0,4 = Relación de espacio en disco 96 MB: espacio de almacenamiento dinámico de Java 1 MB.
La línea anterior equivale a 3 TB de capacidad de disco en bruto por RegionServer con 32 GB de RAM asignada a la pila de Java.
Lo que usted termina con, entonces, es de 1 terabyte de espacio utilizable por RegionServer ya que el factor de replicación de HDFS por defecto es 3. Este número es todavía más impresionante en términos de almacenamiento de base de datos por nodo, pero no tan impresionante, dado que los servidores de las materias primas normalmente tienen capacidad para ocho o más unidades con una capacidad de 2 a 4 terabyte una pieza.
Video: Convivencia previa para hacerse pareja de hecho
El problema general de este escrito es el hecho de que las actuales máquinas virtuales Java (JVM) lucha para proporcionar una gestión eficiente de la memoria (recolección de basura, para ser más precisos) con grandes espacios montón (espacios mayores de 32 GB, por ejemplo).
Sí, hay basura recogida parámetros de ajuste se pueden utilizar, y usted debe consultar con su proveedor de JVM para asegurar que tiene las últimas opciones, pero ganaron&rsquo-t ser capaz de llegar muy lejos utilizarlos en este momento.
El problema de gestión de memoria con el tiempo se resolvió pero por ahora tenga en cuenta que puede encontrar un problema si los requisitos de almacenamiento HBase están en el rango de cientos de terabytes a más de un petabyte. Usted puede aumentar fácilmente a 20GB para llegar a 6 TB y 2 TB prima utilizable.
Puede hacer otros ajustes (reducción del tamaño de MEMSTORE para cargas de trabajo pesadas leer, por ejemplo) pero ganó&rsquo-t emitir órdenes de magnitud saltos en el espacio utilizable hasta que tengamos una JVM que gestiona de manera eficaz la recolección de basura con montones masivos.
Puede encontrar maneras de resolver el problema de recolección de basura JVM para RegionServers pero las soluciones son nuevos y todavía no es parte de la distribución principal HBase partir de este escrito.
servidores maestros
El MasterServer no consume recursos del sistema como los RegionServers hacen. Sin embargo, usted debe proporcionar redundancia de hardware, incluyendo RAID para evitar un fallo del sistema. Por si fuera poco, también configurar un MasterServer copia de seguridad en el clúster. Una configuración común es de 4 núcleos de CPU, entre 8 y 16 GB de RAM y 1 Gigabit Ethernet es una configuración común. Si co-localizar MasterServers y nodos Zookeeper, 16 GB de RAM es recomendable.
Zookeeper
Al igual que el MasterServer, Zookeeper doesn&rsquo-T requiere una configuración de hardware grande, pero Zookeeper no debe bloquear (o se requiere para competir por) los recursos del sistema. Cuidador del zoológico, que es el servicio de coordinación de un clúster HBase, se encuentra en la ruta de datos para los clientes. Si Zookeeper no puede hacer su trabajo, se producen tiempos de espera - y los resultados pueden ser catastróficos.
Zookeeper requisitos de hardware son los mismos que para el MasterServer excepto que un disco dedicado debe ser proporcionada por el proceso. Para los pequeños racimos se puede ubicar conjuntamente Zookeeper con el servidor maestro, pero recuerde que necesita Zookeeper suficientes recursos del sistema para funcionar cuando esté listo.