Durante muchos años, la refrigeración por inmersión fue difícil de vender a los hiperescaladores: el nuevo factor de forma y las diferencias operativas planteaban un reto único y potencialmente indeseable, sobre todo porque las densidades de los racks anteriores hacían que las capacidades de la inmersión parecieran excesivas. El temor a lo que pudiera suponer para el equipo sumergir el valioso hardware informático en líquidos también ha sido un obstáculo.

Pero con el rápido crecimiento de los requisitos de potencia de las GPU, la industria de los centros de datos está trabajando intensamente para encontrar la forma de refrigerar racks que podrían alcanzar densidades de 1 MW. Los hiperescaladores están diseñando módulos laterales personalizados tanto para la alimentación como para la refrigeración y, en el proceso, podrían rediseñar las instalaciones desde cero para adaptarlas a las últimas ofertas de hardware de Nvidia.

La refrigeración por inmersión, una tecnología tradicionalmente preferida por los mineros de criptomonedas en lugar de los proveedores de IA o de nube, puede que no ofrezca actualmente tanques de 1 MW, pero podría proporcionar a los operadores una forma de alcanzar densidades más altas sin necesidad de reescribir las reglas de la misma manera. Quizás sea el momento de volver a considerar la refrigeración por inmersión, especialmente porque algunas investigaciones sugieren que puede dar lugar a un mayor tiempo de actividad y a un hardware más resistente.

¿El momento de la inmersión?

Durante años, la refrigeración por inmersión fue el bastión de los mineros de criptomonedas. Las empresas de criptomonedas siguen siendo los mayores proveedores de inmersión, pero las implementaciones que alojan TI tradicional están creciendo.

Colocar un tanque de inmersión de alta densidad en una sala requiere menos infraestructura que un entorno refrigerado por aire, y un número cada vez mayor de actores de Edge están estudiando la posibilidad de ofrecer servicios de inmersión en las áreas metropolitanas, a menudo en edificios de oficinas con capacidad sobrante.

Las densidades de los tanques de inmersión varían, pero no es raro ver proveedores que ofrecen densidades de hasta 100 kW o más, y algunos llegan a alcanzar los 200-300 kW.

Varios proveedores de fluidos refrigerantes, entre ellos Shell y Castrol, tienen sus propios tanques de inmersión, tanto para probar sus últimos fluidos como para mostrar a los clientes potenciales cómo podrían funcionar estas instalaciones en el mundo real.

Operadores de centros de datos consolidados, como Stack, Aligned y CyrusOne, han afirmado que sus últimos diseños de centros de datos refrigerados por líquido son compatibles con la refrigeración por inmersión. NTT cuenta con un sistema de refrigeración por inmersión en sus instalaciones de Bombay, en la India. La empresa de servicios en la nube PeaSoup ha instalado tanques de inmersión en los centros de datos de Centersquare. Firmus, otro proveedor de servicios en la nube australiano, cuenta con un sistema de inmersión en las instalaciones de STT GDC en Singapur y tiene previsto implantarlo a gran escala en toda Australia con NextDC.

Una visión realista de la inmersión

Una empresa que lleva años utilizando la refrigeración por inmersión a gran escala es la australiana DUG. Anteriormente conocida como DownUnder GeoSolutions, la empresa se fundó en Perth en 2003 con el objetivo de proporcionar soluciones informáticas para el análisis de datos científicos y ofrece HPC como servicio a sus clientes.

Actualmente, DUG cuenta con implementaciones de HPC en Houston (Texas), Kuala Lumpur (Malasia) y Perth (Australia), con un total de decenas de miles de servidores refrigerados por inmersión.

La empresa también tiene previsto abrir otra sede en Australia, en Geraldton, a unos 400 km al norte de Perth, en Australia Occidental. Entre sus clientes se encuentran varias universidades, el astillero Austal, la agencia de investigación australiana CSIRO, la empresa de criptomonedas HODL Ranch y varias empresas petroleras y gasísticas.

La empresa lleva más de una década dedicándose a la refrigeración por inmersión a gran escala, utilizando principalmente tanques y sistemas de refrigeración propios, pero no se considera un centro de datos ni una empresa de refrigeración.

«Eso no es lo que somos», afirma Matt Lamont, director general de DUG. «Nuestros ingresos provienen principalmente del procesamiento y la obtención de imágenes de datos sísmicos».

Aunque históricamente ha mantenido en secreto los diseños y la tecnología de sus centros de datos, DUG está empezando a ofrecer sus productos a terceros. El proveedor de soluciones de refrigeración Baltimore Aircoil Company, Inc. (BAC) tiene un acuerdo de licencia con DUG para vender su tecnología patentada de refrigeración por inmersión. DUG también ofrece un nuevo módulo de centro de datos refrigerado por inmersión, conocido como Nomad, a sus clientes que desean mantener los datos alojados localmente.

Lamont afirma que la empresa diseñó sus propios tanques porque no le gustaban los que había disponibles en el mercado en ese momento y pensó que podía fabricar unos más fiables por menos dinero. Sus tanques estándar de 26U podían alcanzar originalmente unos 50 kW, aunque la empresa los aumentó a 60-70 kW con algunos ajustes en los componentes, mientras que los tanques Nomad pueden alcanzar unos 100 kW gracias a la introducción de un segundo intercambiador de calor.

«Todas estas cosas se han desarrollado para ayudarnos en nuestro negocio de ciencia numérica», afirma Lamont. «Todo lo que tenemos, en lo que respecta a la informática, está siempre sumergido. Nunca lo haríamos de otra manera. Estarías loco si lo hicieras de otra manera».

«Simplemente funciona»

La simplicidad operativa y la resistencia de la refrigeración por inmersión permiten a DUG funcionar con un tiempo de actividad muy alto, sin necesidad de invertir en grandes cantidades de infraestructura redundante que serían necesarias en una configuración de refrigeración por aire o de líquido directo al chip.

Aunque los servicios informáticos sísmicos de DUG se basan principalmente en el cálculo por lotes, la empresa ofrece algunos productos de HPC como servicio, pero no opera con acuerdos de nivel de servicio (SLA) a hiperescala para sus clientes, sino que suele ofrecer un tiempo de actividad del 99,95 %. Sin embargo, Matt Lamont señala que cualquier tiempo de inactividad prolongado sería «muy grave» para la empresa.

Dan Lamont, director comercial de DUG en el momento de nuestra conversación y ahora director financiero en funciones, señala que la empresa no opera en un entorno de nivel III en su propio centro de datos.

Aunque existe cierta energía de respaldo para los sistemas de almacenamiento y red, no hay respaldo para la computación. La flota de servidores de la empresa opera en una configuración sin estado, por lo que los servidores individuales se transfieren a otra máquina.

«No tenemos N+1. No tenemos 2N. Pero también funcionamos a alrededor del 99,999 % (tiempo de actividad) gracias a la resiliencia y simplicidad del sistema», afirma Dan. Aunque cuenta con detectores de humo, la empresa ni siquiera tiene sistemas de extinción de incendios en las salas de datos porque la temperatura de ignición de su fluido dieléctrico es muy alta. Sin embargo, la empresa señala que no todos los fluidos tienen el mismo punto de inflamación.

«Teníamos una GPU Nvidia defectuosa. La instalamos y se produjo un cortocircuito y se quemó. Emitió humo y activó las alarmas. Pero no pasó nada», dice Matt. «Simplemente apagamos la alimentación de esa GPU y el resto del tanque siguió funcionando mientras la extraíamos. Si eso no causa ningún problema, nada lo hará».

Los tanques tienen bombas dobles por redundancia, pero poco más.

«Cuando empezamos a hacerlo, teníamos intercambiadores de calor de repuesto», añade Matt. «Pero nunca los usábamos. Así es nuestro sistema, trabajamos en él durante un par de años para que fuera tan sencillo como es».

Cabe destacar que DUG no tiene tapas en sus tanques, y la empresa afirma que, ocasionalmente, hay que eliminar el polvo del fondo, un proceso de limpieza que, según afirma, es principalmente estético, ya que el polvo no afecta al funcionamiento.

«Hace mucho tiempo, un cliente entró en la sala de ordenadores con una taza de café y se le cayó la mitad de la taza en un tanque», cuenta Matt. «Y nada se detuvo, todo siguió funcionando. No hicimos nada. Es realmente robusto».

A pesar de ello, Matt señala que la empresa tiene un historial de alto tiempo de actividad: «Hace poco realizamos un trabajo en el que utilizamos 8600 máquinas completas, que funcionaron durante 38 días en una sola tarea. Ese es el tipo de fiabilidad que obtenemos de estas máquinas, y gran parte de ella se basa en la refrigeración por inmersión».

Diferencias operativas con la refrigeración por inmersión

DUG sugiere que la formación y las habilidades necesarias para operar y mantener un entorno refrigerado por inmersión son esencialmente las mismas que para los entornos refrigerados por aire o por líquido directo al chip.

Sus tanques patentados, desarrollados por los propios ingenieros de la empresa, se diseñaron para ser lo más sencillos y resistentes posible.

«Tenían buenas razones para hacerlo robusto y sencillo, porque eran ellos los que tenían que vivir con él», afirma Matt Lamont.

Los Lamont afirman que no creen haber tenido que rellenar o cambiar el líquido de ningún tanque, y que han realizado análisis químicos para comprobar el estado del líquido, pero nunca han observado cambios notables. Bromean diciendo que la única diferencia es que los ingenieros podrían tener las manos más suaves si utilizan un líquido de inmersión no tóxico sin guantes.

Sin embargo, los tanques de inmersión en las salas de datos plantean un reto operativo diferente al de los racks tradicionales. Los servidores y los equipos deben introducirse y sacarse de los tanques verticalmente, en lugar de deslizarse horizontalmente.

En muchas instalaciones, es habitual disponer de una grúa portátil, similar a la que se utiliza para extraer los motores de los coches, o de un sistema fijo suspendido si el espacio lo permite.

Una vez retirados los servidores, se debe recoger y limpiar el fluido dieléctrico de los servidores retirados, lo que a menudo requiere una bandeja de goteo y una solución de limpieza. Aunque no es el proceso más complicado, es una forma diferente de operar que requiere consideración.

La empresa de refrigeración por inmersión Submer está desarrollando un robot para automatizar la instalación y retirada de servidores de los tanques de inmersión. La empresa presentó por primera vez la versión original de su Autonomous Datacenter Assistant (ADA) en octubre de 2021 y anteriormente había anunciado que una nueva versión saldría a finales de 2025. Submer no es la primera en intentar automatizar la implementación de servidores en tanques de inmersión.

TMGcore lanzó Otto, un sistema de refrigeración por inmersión de dos fases que utilizaba brazos robóticos para realizar tareas de mantenimiento, alrededor de 2020. Sin embargo, en lugar de un robot móvil, Otto era un sistema fijo conectado al tanque. Diseñado en colaboración con Olympus Controls, estaba equipado con una carcasa junto al tanque que albergaba servidores de respaldo y ranuras abiertas para el hardware retirado.

Durante mucho tiempo, sumergir los servidores en líquido de inmersión se hacía por cuenta y riesgo del propietario. Preparar las máquinas para la inmersión puede suponer mucho trabajo si los servidores no han sido diseñados específicamente para ello: hay que quitar los ventiladores (y sustituirlos por un replicador o un cambio de BIOS), así como los disipadores de calor y la pasta térmica. Los cables que conectan los servidores a otros equipos también deben colocarse correctamente, ya que de lo contrario el líquido podría desplazarse a lo largo de ellos (una acción capilar también conocida como «wicking»).

Hasta hace poco, ninguno de los servidores que compró DUG tenía ningún tipo de garantía más allá de los fallos iniciales. Esto se debía principalmente a que pocos fabricantes de equipos originales ofrecían algún tipo de garantía contra el hardware sumergido. Ahora, varios proveedores están empezando a ofrecer garantías contra la inmersión, por lo que DUG ha aceptado la oferta de estas empresas.

«Nunca la hemos necesitado», afirma Matt Lamont. «Nunca ha sido un problema».

Fiabilidad de la inmersión: ¿qué dicen las cifras?

Pero DUG no es la única empresa que está observando un alto tiempo de actividad en los entornos de inmersión.

Durante una charla en la cumbre EMEA del Open Compute Project celebrada en Irlanda el año pasado, Austin Hipes, director tecnológico y vicepresidente de ingeniería del integrador de sistemas Unicom Engineering, proporcionó datos de fiabilidad de una implementación a gran escala de refrigeración por inmersión en Asia.

Se implementaron un total de 3590 servidores Xeon de segunda y tercera generación refrigerados por inmersión en un «centro de datos de nivel 1 en APJ». Las unidades de servidor, de un «fabricante de nivel 1 que todos reconocerían», se implementaron en tanques de la serie GRC ICEraQ FLEX con fluido dieléctrico PAO4, una configuración que Hipes describió como «una implementación muy estándar».

Desde el primer trimestre de 2023 hasta el primer trimestre de 2025, los servidores Xeon de segunda generación registraron una tasa de fallos trimestral de solo el 0,9 %, mientras que los servidores de tercera generación registraron una tasa de fallos del 1,9 %. Si se eliminan los fallos tempranos (que sugieren defectos de fabricación) y los problemas de cableado, las tasas de fallos se reducen al 0,6 % y al 1,4 % para las unidades de segunda y tercera generación, respectivamente.

«En ambas situaciones, tanto si se eliminan los fallos iniciales y los cables como si se mantienen, la fiabilidad es superior al 99,999 %», afirmó Hipes.

Hipes señaló que los datos de su empresa sobre fallos de servidores incluyen ventanas de servicio, lo que sugiere que, aunque «puede llevar un poco más de tiempo reparar un servidor de inmersión», el tiempo de actividad general sigue siendo mejor. Señala que, aunque puede haber media hora o una hora adicional de tiempo de servicio, se realizan menos reparaciones porque la fiabilidad general es mejor.

La instalación en cuestión también contaba con servidores refrigerados por aire, refrigerados por placa fría y por inmersión del mismo modelo, y los datos de fiabilidad sugieren que el tiempo de inactividad de los servidores por inmersión es aproximadamente una octava parte del de los servidores refrigerados por aire comparables. Pero las cifras reales podrían ser incluso mejores.

«Creemos que estas tasas de fallo son en realidad mucho más altas que las que se observan actualmente en el sector y mucho más altas que las que hemos tenido en otras implementaciones», afirmó Hipes durante la presentación. «Durante el proceso de conversión se hicieron bastantes cosas que provocaron una reducción de la fiabilidad de algunos de esos componentes».

El trabajo de conversión realizado por el operador anónimo para preparar los servidores para la inmersión fue inferior al que habría realizado un integrador de sistemas especializado, lo que provocó más fallos.

El trabajo de conversión se realizó en el suelo de la sala de datos, lo que podría haber provocado la aparición de residuos; no se utilizaron llaves dinamométricas en los componentes; la pasta térmica se retiró de las CPU con papel de seda estándar, lo que dejó residuos y generó electricidad estática; los disipadores térmicos se montaron sin las herramientas de inserción adecuadas, lo que provocó desalineaciones y daños. El manejo general descuidado del hardware provocó daños en las placas base y otros componentes. La configuración del cable DAC también creó tensiones adicionales y más fallos en los cables de lo normal.

«No era un entorno de integración», dijo Hipes. «Todo se apretó a mano según lo que el técnico consideró oportuno. El trabajo se realizó literalmente en el suelo del centro de datos, ni siquiera en bancos de trabajo. Hubo muchos problemas de manipulación al volver a insertar las CPU después de limpiarlas, y los disipadores térmicos se volvieron a colocar».

Una placa base sufrió la explosión de su CPU porque no se eliminó correctamente un material conductor suelto. Los residuos flotaron alrededor del tanque hasta que golpearon justo en el punto equivocado, aterrizando justo entre dos reguladores de voltaje de CPU diferentes y provocando un cortocircuito.

«A pesar de la gravedad del daño, en el que la placa de circuito impreso se derritió, no hubo ningún impacto en el resto del tanque», señaló Hipes. «Ni siquiera sabían que se estaba produciendo un cortocircuito; solo sabían que el servidor había dejado de funcionar. Todas las demás plataformas funcionaban perfectamente».

A pesar de lo que podría describirse como un trabajo de mala calidad, los servidores sumergidos del centro de datos siguieron teniendo un tiempo de actividad mejor que sus homólogos refrigerados por aire.

«Las tasas de fiabilidad aquí, las tasas de fallo, siguen siendo mejores que las del aire, incluso con estos problemas concretos», concluyó Hipes. «En otras implementaciones, que normalmente no son a esta escala, la fiabilidad es realmente mejor. [Esto] es notablemente peor que otras implementaciones en las que hemos participado».