Racimos de redes y hadoop

Al igual que con cualquier sistema distribuido, las redes pueden hacer o deshacer un cluster Hadoop: “ir barato” No Una gran parte de la charla tiene lugar entre los nodos maestros y nodos esclavos en un cluster Hadoop que es esencial para mantener el funcionamiento del clúster, por lo que los interruptores de nivel empresarial son sin duda recomendable.

Para cada estante en el clúster, se necesitan dos interruptores top-of-rack (RPT), tanto para redundancia y rendimiento. 10 GbE para utilizar interruptores Tor.

TdR conmutadores son conmutadores de red que conectan todas las computadoras en un bastidor juntos. Normalmente se los ve en la parte superior de un estante, por lo que la gente dice “top-of-rack”. Un enfoque de red alternativa es utilizar al final de la fila (EOR) interruptores, pero no ve esta misma a menudo.

El enfoque TdR es más simple desde una perspectiva de red para grupos de crecimiento. Por ejemplo, la adición de nodos esclavos y bastidores adicionales es mucho más fácil con los interruptores TdR que EoR.

Cuando se tiene más de tres bastidores, se necesitan al menos dos conmutadores de núcleo (de nuevo, principalmente para la redundancia, sino también para el rendimiento). Estos conmutadores centrales manejan grandes cantidades de tráfico, por lo que es una necesidad 40 GbE.

Si usted está construyendo o ampliando un clúster para abarcar varios bastidores, contratar a expertos que están familiarizados con Hadoop, sus planes de crecimiento futuro, y su carga de trabajo en red. Mal de redes puede obstaculizar seriamente el rendimiento, pero también puede hacer que el crecimiento futuro doloroso y costoso.