Hay muchos, muchos discos en Big Data

La mayor sorpresa que me he llevado (por ahora :-p) en el mundo de Big Data es lo masivo que resulta; y no hablo de los datacenter de Google, cuyo tamaño tenemos asumido por grande que sea, sino de la enorme infraestructura que puede necesitar una pequeña empresa para incorporarse a este negocio.

Antes de asistir al curso impartido por Obice creía que el alquiler de espacio en servidores como el sistema AS3 de Amazon salía bastante barato pero claro, multiplica la tarifa básica por 10, 100… o 100.000, y empieza a rezar.

Así que instalar tus propios sistemas, con decenas de ordenadores y cientos de discos duros resulta una idea factible, aunque si compras “de marca” la cosa resulta cara, e incluso soluciones que salen casi a precio de coste, como Backblaze, no son cosa de broma.

backblaze-storage-pod-main-components

Otra cosa que nos explicaron es que todos esos discos vibran lo suyo, y según cómo vayan las cosas una de estas cajas puede ser un auténtico terremoto, así que no digamos un armario con diez de ellas.

Los fabricantes de Backblace ofrecen la opción de agregar láminas de goma, pero eso dificulta el flujo del aire y con ello la refrigeración, y encima si la humedad es elevada puede producirse condensación, que definitivamente no es sano para los equipos electrónicos.

Por supuesto todos teníamos ideas que aportar al respecto, y como es lógico no eran particularmente novedosas. ¿Aire acondicionado? Riesgo de humedad. ¿Refrigeración mediante aceite? La vibración produce olas salvajes (en la foto sólo hay un puñado de servidores convencionales, y el oleaje es claramente perceptible) y además resulta pelín pringoso sustituir los discos.

http://green.blogs.nytimes.com/2012/09/06/cooling-a-computer-server-with-mineral-oil/

Por supuesto es una tentación buscar algo que no se le haya ocurrido a nadie antes; y un catarro brutal que te despierta a las cinco de la mañana ayuda lo suyo para animarte a perder el tiempo, llenar un par de páginas con garabatos y hacer un post ligeramente absurdo.

La idea sería colgar los discos de unas pinzas o anclajes que permitan un movimiento transversal limitado, ya que es la dirección en la que empujan los actuadores, evitando así la acumulación de energía mecánica y vibraciones horizontales que podrían dañar las cabezas y platos.

  
Además sería bastante sencillo añadir un periférico USB que, conectado a las pinzas, indique de forma visual si un disco duro ha fallado o está a punto de fallar. La ventilación sería más eficiente y podría regularse electrónicamente mediante sensores de temperatura y humedad, disminuyendo el riesgo de condensación, y en circunstancias extremas podría usarse aire comprimido en lugar de ventiladores, ya que tomaría aire del exterior y la mayor parte de humedad se elimina en el tanque de presión.

La verdad es que lo más probable es que el rack acabe dando un paseo por la sala como una vieja lavadora, los discos duros acaben segando sus conectores o simplemente terminen hechos fosfatina debido al baile, pero aun así es divertido imaginar soluciones para problemas de semejante magnitud.

¡Y esto es sólo la punta del iceberg del monstruo que es Big Data! Dentro de nada estudiaremos cómo instalar un pequeño equipo experimental, y jugaremos con el software de base del que se componen los grandes sistemas distribuidos.