Consideraciones bastidor hadoop

Un principio básico de Hadoop está reduciendo a cabo con nodos esclavos adicionales para satisfacer la creciente almacenamiento de datos y las demandas -Procesamiento. En un modelo a escala de salida, debe considerar cuidadosamente el diseño clúster porque decenas, e incluso cientos, de nodos esclavos en última instancia, deben ser acumulado, impulsado, en red, y se enfría.

factores de forma del servidor

Una de las primeras opciones que los arquitectos se enfrentará al diseñar un clúster Hadoop es cuál de los siguientes dos factores de forma de usar para los nodos de Hadoop:

servidor blade: Diseñado para una máxima densidad, se puede meter ya que muchos de estos bebés en un estante como sea posible. Los servidores blade encajan en chasis blade, que tienen muchos componentes de servidor estándar, como el almacenamiento dedicado, redes, energía y refrigeración. Estos componentes son compartidos entre los servidores blade, lo que significa que cada servidor individual de las palas puede ser mucho más pequeño.

Los servidores blade son una opción atractiva en la superficie, ya que podría tener un rack estándar y desplegar entre el 40 y 50 de estos servidores blade. El problema con el uso de cuchillas para los despliegues de Hadoop es que se basan en ciertos componentes compartidos, que no está en consonancia con la arquitectura de compartición nula de Hadoop, donde cada uno de los nodos esclavos son autónomos y tienen sus propios recursos dedicados.

Más importante aún, las hojas tienen poco espacio para almacenamiento conectado localmente, a menudo teniendo no más de dos o tres compartimientos de unidades. Esto es un no-arrancador para Hadoop, ya que los nodos esclavos necesitan mucha más capacidad de almacenamiento dedicado.

Coste de propiedad

Al elegir y diseñar un nodo esclavo, sus consideraciones más importantes son típicamente los costes de adquisición iniciales y el volumen de almacenamiento. Sin embargo, el coste de propiedad también es importante. Es un acto de equilibrio muy bien, sin embargo, porque las opciones que afectan el costo de adquisición, el consumo de energía, refrigeración, el rendimiento del hardware, y la densidad son a menudo en oposición. En nombre de ayudar a tomar buenas decisiones, aquí hay algunos consejos (bastante específico):

• Reservar fuentes de alimentación redundantes para los nodos maestros. Tener fuentes de alimentación redundantes para nodos esclavos es un exceso - un fallo de alimentación en un nodo esclavo no afectaría en gran medida el clúster. Sin embargo, tener fuentes de alimentación redundantes en todos los nodos esclavos aumentaría el consumo de energía y generar más calor.

• Elige medio-de-la-carretera velocidades de reloj de esclavo CPUs nodo. CPUs con mayor reloj no sólo acelera cuestan más, pero también utilizan más energía y generan mucho más calor.

• Elija los servidores de bastidor que están diseñados para Hadoop. Con la creciente popularidad de Hadoop, todos los principales proveedores de hardware ofrecen ahora los servidores de bastidor que son nodos esclavos ideales, con 12 a 20 compartimentos para unidades de almacenamiento locales.

  Video: Consideraciones de Hardware para SQL Server

  servidores de bastidor diseñado para trabajar como nodos esclavos Hadoop son típicamente demasiado grandes para caber en un factor de forma de una RU, pero tomando hasta dos EF puede resultar en espacio desperdiciado. Para el uso más eficiente del espacio, algunos fabricantes de hardware han dado a conocer los servidores de bastidor que abarrotan múltiples nodos esclavos en un único chasis.

  Como un ejemplo, en esta forma comprimida, un bastidor estándar puede tener hasta 27 nodos esclavos (incluso con conmutadores de red), donde cada nodo esclavo tiene espacio para 15 unidades de disco para HDFS. El resultado de esta disposición es mucho más alta densidad y mejor uso del espacio en el centro de datos.

  Video: [Tutorial]: How To Get Unlimited Lynda.com Courses Access