El agua es un componente fundamental de muchos sistemas de refrigeración de centros de datos. Sin embargo, a medida que aumentan las densidades (y, por lo tanto, las temperaturas), es necesario plantearse preguntas sobre las temperaturas adecuadas del agua que enfría estos sistemas.
A medida que los chips que hacen funcionar los servidores se vuelven más densos y potentes, los operadores se enfrentan a preguntas sobre si deben reducir la temperatura del agua que llega a estos chips, hasta el punto de que tendremos que empezar a centrarnos más en enfriar los sistemas de agua.
El paso al líquido
Históricamente, los centros de datos se han mantenido a una temperatura de entre 20 °C y 22 °C, pero grupos como la Sociedad Estadounidense de Ingenieros de Calefacción, Refrigeración y Aire Acondicionado (ASHRAE) llevan años aconsejando a las organizaciones que ajusten los termostatos a temperaturas más altas. Como resultado, las temperaturas de los centros de datos han ido aumentando: la empresa matriz de Facebook, Meta, aumentó sus temperaturas a 29,4 °C, Google subió a 26,6 °C y Microsoft ha publicado directrices que sugieren que las temperaturas podrían llegar a 27 °C.
Los centros de datos tradicionales tienen valores de ajuste del agua helada entre 6 y 7 °C. Las instalaciones que han optimizado sus sistemas de refrigeración han logrado aumentar con éxito la temperatura del agua helada a 10 °C o más. Según Johnson Controls, se estima que por cada aumento de 1 °C en la temperatura del agua helada, se produce un ahorro de aproximadamente un 2-3 por ciento en el consumo de energía de un enfriador típico.
Un reciente estudio de caso de DCD Broadcast analizó cómo un proveedor de servicios en el Reino Unido logró un ahorro anual de £1,5 millones (US$1,9 millones) al aumentar la temperatura de la sala de datos, lo que solo se tradujo en un aumento del 0,3 por ciento en el riesgo de falla del hardware.
“La refrigeración siempre ha sido el segundo mayor consumidor de energía en el centro de datos después de la carga de TI, y se trata principalmente de energía utilizada para enfriar cualquier medio de transferencia de calor, ya sea aire o líquido. Por lo tanto, cuanto menos energía se gaste allí, mejor será la eficiencia general de la instalación”, dice Vlad-Gabriel Anghel, director de ingeniería de soluciones en la unidad de capacitación de DCD , DCD>Academy.
El panorama está cambiando a medida que la industria avanza hacia centros de datos refrigerados predominantemente por líquido, donde un líquido como el agua circula directamente sobre los componentes que producen calor y lo elimina. El agua tiene una capacidad térmica mucho mayor que el aire, lo que significa que los centros de datos pueden admitir chips de mayor densidad y utilizar menos energía para enfriarlos.
Aunque existen opciones de refrigeración por aire para racks que consumen más de 20 kW, las desventajas comienzan a superar los beneficios, lo que lleva a los operadores a cambiar a sistemas líquidos. Durante años, 30 kW se consideraban el límite superior de las implementaciones de alta densidad, y el aire era suficiente. Con la llegada de la IA generativa y lo que se clasifica como "alta densidad" que ahora puede alcanzar más de 100 kW, quedarse solo con la refrigeración por aire ya no es una opción.
El fluido que circula por los sistemas de líquido tiene una temperatura mucho más alta que la que se encuentra en los sistemas de agua helada, pero la industria aún debe estandarizar el mejor enfoque. Al mismo tiempo, los chips son cada vez más densos y las temperaturas del agua que se suministra a estos sistemas están bajando.
Desde hace tiempo se ha acusado a los operadores de centros de datos de ser demasiado cautelosos al enfriar excesivamente sus centros de datos refrigerados por aire para proteger el hardware informático y evitar incluso el más mínimo riesgo de sobrecalentamiento de las salas de datos. Mostrar demasiada inquietud con respecto a la refrigeración líquida conlleva el mismo riesgo.
Las temperaturas más altas del agua implican un menor uso de energía para refrigeración (lo que es excelente para la eficiencia de uso de la energía), pero el riesgo es que los chips se acerquen más a su límite térmico. Entonces, ¿cuánto es demasiado calor?
¿Cuál es la temperatura adecuada del agua?
En 2011, ASHRAE presentó un artículo sobre refrigeración líquida. El artículo establecía clases amplias (W1, W2, W3, W4 y W5) en función de la temperatura de refrigeración. Originalmente, esas clases eran 17 °C, 27 °C, 32 °C, 45 °C y más de 45 °C, respectivamente. Cuando se actualizó el trabajo en 2022, se requirieron nuevos refinamientos de temperatura, incluida una temperatura de 40 °C, y ASHRAE pasó a nuevas definiciones de clase: W17, W27, W32, W40, W45 y W+.
Anghel, de DCD>Academy, dice que no existe una temperatura óptima para el agua en los sistemas refrigerados por líquido, porque la mejor temperatura variará dependiendo de la configuración de la instalación.
“Esto dependerá completamente del tipo de refrigeración líquida utilizada, así como del entorno en el que se encuentre el sistema de refrigeración líquida, el tipo de chip y su TDP, así como el uso del chip”, afirma. “Una solución de refrigeración líquida asistida por aire en la puerta trasera tendrá temperaturas diferentes a las de un sistema de refrigeración directa al chip con circuito cerrado”.
Según Uptime, las temperaturas del agua en los sistemas refrigerados por líquido parecen estar convergiendo en torno a los 32 °C para el agua de las instalaciones, lo que se describe como un "buen equilibrio" entre la eficiencia de las instalaciones, la capacidad de refrigeración y la compatibilidad con una amplia gama de sistemas DLC. Sin embargo, la empresa señala que esto a menudo requiere una infraestructura adicional de rechazo del calor, ya sea en forma de evaporación de agua o refrigeración mecánica para chips de mayor densidad.
“Muchos operadores ya han optado por temperaturas de agua conservadoras a medida que actualizan sus instalaciones para incorporar una combinación de TI refrigeradas por aire y líquido. Otros instalarán sistemas DLC que no están conectados a un suministro de agua, sino que se enfrían por aire mediante ventiladores y radiadores grandes”, afirmó la empresa en un informe reciente.
La firma analista señala que los procesadores de alta gama actuales (hasta 350 W de potencia de diseño térmico) y los aceleradores (hasta 700 W en algunas GPU) se pueden enfriar "efectivamente" incluso a altas temperaturas del refrigerante líquido, lo que permite que el suministro de agua de la instalación para el sistema de enfriamiento líquido directo funcione a temperaturas de hasta 40 °C, e incluso hasta 45 °C.
Sin embargo, Andrew Bradner, gerente general de la división de refrigeración de Schneider Electric, dijo a DCD que, una vez que los chips alcanzan los 500 W, la temperatura del agua de suministro debe bajar a 30 °C. Y para 700 W, la temperatura puede tener que bajar hasta 27 °C.
"Esta idea de utilizar refrigeración líquida con agua a una temperatura de entre 50 y 60 °C es muy poco probable, especialmente en las cargas de entrenamiento", dice Bradner.
Y de la misma manera que los centros de datos refrigerados por aire generalmente se han mantenido a temperaturas más bajas por precaución, los clientes que utilizan implementaciones de refrigeración líquida están siendo igualmente prudentes.
Como parte de su rediseño centrado en la IA, Meta ha establecido una temperatura de 30 °C para el agua que suministra al hardware y espera lograr que esta temperatura sea adoptada más ampliamente a través del Proyecto Open Compute.
Sin embargo, de manera anecdótica, DCD ha escuchado a operadores que esperaban que los clientes optaran por la definición ASHRAE de W27 (agua de salida de 27 °C) y en cambio están optando por la opción W17 (17 °C).
“A veces se habla mucho de que las temperaturas del agua van a llegar a los 40-50 °C”, afirma Bradner. “Pero a medida que las densidades de potencia de las GPU comienzan a superar los 500 W a 700 W cada una, las temperaturas de la carcasa que están empezando a ver requieren que el agua baje aún más”.
“Una vez que se alcanzan los 700 W, la temperatura del agua debe bajar a unos 27 °C. Y tenemos clientes que piden agua a una temperatura de entre 20 y 24 °C”.
Refrigeración gratuita vs refrigeración asistida
Cuando se necesita agua a una temperatura de entre 20 y 24 °C, en muchos casos se requieren algunas tecnologías de enfriamiento asistido, especialmente en climas más cálidos.
Como ejemplo, Bradner dijo que Schneider realizó recientemente una evaluación con un socio sobre enfriamiento gratuito, que se basa en atraer aire o agua naturalmente fríos en lugar de refrigeración mecánica, a densidades más altas.
Mientras las densidades de chips fueran de 300 W, el 95 por ciento de sus sitios podrían funcionar sin ningún tipo de asistencia mecánica para proporcionar las temperaturas de agua que necesitaban para hacer funcionar un sistema líquido.
Sin embargo, una vez que los chips superaron los 500 W, solo el cinco por ciento de sus sitios pudieron soportar enfriamiento gratuito, y el 95 por ciento de sus sitios necesitaron algún tipo de solución asistida mecánicamente por compresor.
"Creo que ese es el desafío", dice Bradner. "A medida que los chips se vuelven más potentes y consumen más energía, la disipación interna que debe producirse en la carcasa del chip requiere agua más fría para poder seguir manteniendo un enfriamiento confiable de esos chips".
Pero señala que para temperaturas del agua de alrededor de 27-30 °C, todavía hay grandes partes del año en las que habrá enfriamiento gratuito, y los operadores pueden necesitar enfriamiento asistido solo durante los meses más calurosos del verano.
“En la actualidad, se pueden utilizar chips de 300 W a 400 W que están disponibles con temperaturas de agua mucho más altas”, afirma Bradner. “Pero eso va a cambiar drásticamente una vez que estas GPU más potentes estén disponibles y se implementen a gran escala. Vemos que muchos de nuestros clientes más importantes hablan de temperaturas de agua que están más en el rango de 27 a 30 °C, no de 40 a 50 °C”.
Anghel de DCD>Academy advierte que si las temperaturas del agua se establecen demasiado bajas, los operadores corren el riesgo de enfriar demasiado los chips y, en última instancia, desperdiciar energía y repetir errores cometidos hace tiempo con el enfriamiento por aire.
“Cada vatio que se gasta en agua de refrigeración es otro vatio que se resta a la carga de TI”, afirma. “Se están cometiendo los mismos errores de eficiencia independientemente del medio de refrigeración”.