A principios de 2019, un pequeño grupo de investigadores lanzó un ambicioso proyecto que se esperaba cambiase la forma en que se construyen y regulan los centros de datos.

¿La idea? Construir el centro de datos más eficiente del mundo. En solo unos pocos años, alcanzarían ese hito, desarrollando un sistema con una efectividad en el uso de energía (PUE) de solo 1.0148.

No empezó de esa manera.

“Siempre quisimos tener una sala de exhibición para resaltar cómo nuestra energía es muy limpia y libre de perturbaciones”, explicó el director de la Agencia de Negocios Boden, Nils Lindh.

"Nuestra opinión era que aquí no se necesita ninguna fuente de alimentación de respaldo o función de tipo UPS".

El municipio sueco, que ya alberga varios centros de datos, previó un pequeño despliegue en terrenos municipales, simplemente con el propósito de mostrar su energía estable, proporcionada principalmente por una presa hidroeléctrica.

Para desarrollar el proyecto, la BBA recurrió a la empresa británica EcoCooling y al desarrollador húngaro H1 Systems, quienes habían trabajado anteriormente en Boden.

“Y luego, cuando conceptualizamos esta idea y comenzamos a hablar con la gente de finanzas, uno de ellos señaló este programa Horizonte 2020”, explicó el entonces director general de H1, László Kozma. Horizonte 2020 fue un enorme programa de investigación de 60.000 millones de euros que se desarrolló entre 2014 y 2020. Ubicado entre sus muchas licitaciones, Kozma descubrió que la UE estaba buscando construir un centro de datos con un PUE por debajo de 1,1.

"Sabía que una empresa húngara tiene sólo un dos o tres por ciento de probabilidad de ser seleccionada", recordó Kozma. "Pero esto podría ser ese dos por ciento, y ya tuvimos un buen comienzo, con un consorcio internacional: un fabricante británico de refrigeración, una agencia municipal sueca y una pyme húngara".

Era hora de expandir el plan más allá de una simple sala de exhibición, a “algo mucho más serio”, dijo. El grupo trajo el Instituto de Investigación de Suecia (RISE), con sede en la cercana ciudad de Luleå, que ya albergaba un enorme centro de datos de Facebook.

“Y después de eso, volvimos a ver a este asesor de proyectos, quien dijo que aún faltaba una cosa: el gran nombre europeo”, dijo Kozma. "Existe esta lista no oficial de 25 instituciones de investigación a las que debe incorporar a su consorcio para aumentar la probabilidad de ganar".

Era bien sabido que las economías más grandes obtuvieron la mayor parte del dinero de Horizonte 2020: la revista de ciencia Nature descubrió que el 40 por ciento del efectivo del programa se destinaba a Alemania, Francia y el Reino Unido.

El grupo recurrió al Instituto Fraunhofer como miembro final del equipo, y Lindh admite que estaban en juego maquinaciones políticas: “Como Alemania es el mayor contribuyente a la Unión Europea, pensamos que sería bueno tener un instituto de investigación alemán involucrado", dijo.

Y Funcionó.

En octubre de 2017, el grupo se adjudicó un contrato de 6 millones de euros titulado 'Llevar al mercado centros de datos integrados y más eficientes energéticamente'. "Ese fue el título que nos dieron, y es lo que habría sido si lo hubiéramos escrito", dijo Kozma. "Nuestra idea y la idea de la Comisión Europea encajaban al 100 por cien".

Ahora, el grupo solo contaba 36 meses para lograrlo.

Cuando BBA comenzó a trabajar en la obtención de permisos, H1 redactó diseños de centros de datos y EcoCooling conceptualizó los métodos de enfriamiento, el Instituto Fraunhofer tuvo un año para desarrollar un sistema para cargas de trabajo sintéticas.

“Nuestra responsabilidad en el proyecto fue diseñar un punto de referencia para emular aplicaciones del mundo real”, dijo el jefe de Modelado y Redes de Fraunhofer, Reinhard Herzog. "Y basándonos en ese punto de referencia, intentamos evaluar si las políticas de enfriamiento funcionan bajo el comportamiento de las aplicaciones del mundo real, no solo las cargas de trabajo sintéticas artificiales estables que usamos como herramientas".

Basado en su trabajo en la construcción de herramientas de ciudad inteligente para Hamburgo, el Instituto Fraunhofer creó un conjunto de cargas de trabajo que "se asemejaba a una aplicación de ciudad inteligente con una gran cantidad de datos de sensores fluyendo y algo de procesamiento de flujo, y luego cargas de trabajo de la aplicación del tablero de evaluación", dijo Herzog. "Y el otro escenario que modelamos fue para aplicaciones de mantenimiento predictivo".

Ambos se ampliaron al nivel del centro de datos y se diseñaron para que los investigadores pudieran ejecutar las mismas cargas de trabajo una y otra vez mientras probaban diferentes configuraciones de refrigeración.

“Entonces, después de toda esta fase de preparación, fueron seis o siete meses de construcción”, recuerda Kozma de H1. "El edificio se inauguró en los primeros meses de 2019. Recuerdo que hacía muchísimo frío".

DCD visitó la instalación en ese momento , y nuestro propio Max Smolaks hizo observaciones similares sobre las temperaturas inusualmente frías en ese momento.

"Lo que estamos haciendo con este proyecto es que estamos creando un sistema operativo muy eficiente y, por lo tanto, de bajo costo", Alan Beresford, EcoCooling MD, nos dijo en ese momento. "Por poco, me refiero a operadores realmente pequeños, en comparación con el mundo de los operadores de varios gigavatios: menos de 100 kW".

De hecho, el Boden Type Data Center One era bastante pequeño: una implementación de 500 kW que constaba de cuatro edificios modulares. Uno estaba lleno de servidores de CPU de Open Compute Project regalados a RISE por Facebook, uno lleno de GPU para renderizar y otro lleno de ASIC de minería criptográfica, con el cuarto a la izquierda como sala de control.

En cada una de estas cápsulas, el equipo probó su propio enfoque para combatir el calor: enfriamiento holístico.

“Pudimos tomar el control de los ventiladores en los servidores y ralentizarlos”, dijo el profesor Jon Summers, líder científico de RISE en centros de datos. "Y sincronizamos los ventiladores de TI con los ventiladores más fríos".

Al controlar todo el centro de datos como un solo sistema, la refrigeración se diseñó para mantener los chips a una temperatura constante, sin importar el nivel de carga de trabajo. "Hay un controlador en el servidor que cambia constantemente la velocidad del ventilador para que la temperatura de la CPU sea de 60 grados", dijo Summers.

"Y a medida que cambia la velocidad del ventilador, envía esa información a un algoritmo que luego le dice al enfriador a qué velocidades necesita operar para que coincida con las velocidades del ventilador de todos estos servidores para que obtener una presión neutra".

"Se convierte en un sistema muy bien equilibrado, pero se necesita la comunicación entre las distintas capas".

Esto demostró ser notablemente efectivo para lograr ganancias de eficiencia, ya que todo el sistema de enfriamiento del centro de datos funcionaba al unísono, en lugar de diferentes pasillos y servidores luchando entre sí.

“Logramos un PUE de 1.0148”, dijo Summers. "Sí, una locura."

El edificio del centro de datos también fue diseñado para la eficiencia, dejando caer el plenum para un diseño de gallinero que permite un efecto de chimenea natural. "¿Sabíamos de antemano que llegaríamos a ese PUE?" Dijo Kozma. “No, al comienzo del proyecto, la mayoría de la gente de nuestro equipo pensó que podríamos llegar a 1.07-1.08.

Al recurrir al enfriamiento holístico, dejar caer el UPS, usar un diseño diferente y varias otras características, es difícil decir directamente qué papel desempeñó cada innovación para lograr un récord de PUE. “Para responder a eso, debería haber construido una especie de edificio normal al lado de este y compararlos entre sí”, dijo Kozma, pero solo tenían presupuesto para un sistema.

La ubicación también proporcionó ventajas. "El mensaje de texto de la UE era buscar el PUE más bajo posible", dijo Summers. “Al instalar un centro de datos refrigerado por aire en el norte de Suecia, hay toneladas de aire frío”, aunque agregó que había algunos desafíos al lidiar con el aire cuando estaba muy por debajo del punto de congelación.

“Obviamente aprovechamos nuestra ubicación geográfica, pero también aprovechamos el hecho de que teníamos el control. Optamos por la temperatura de entrada más baja que pudimos conseguir, 15 ° C, que se puede alcanzar fácilmente durante 7.500 horas al año ".

H1 construyó una simulación para probar si el BTDC sería factible en otros lugares, utilizando datos climáticos históricos de seis ciudades europeas. El centro de datos podría permanecer dentro de las condiciones de ASHRAE para cinco de las ciudades, pero en Atenas saldría levemente de los límites "dos o tres por ciento de las horas en un año", dijo Kozma. "Por supuesto, el clima está cambiando, y usamos datos históricos ", advirtió.

También existe el problema de que quitar el UPS, responsable de un par de puntos de eficiencia de PUE, simplemente no es factible para muchos lugares.

Aún así, "el experimento funcionó", dijo Summers. "Reducir la velocidad de todo nos permitió lograr un PUE mucho mejor".

Un problema con el resultado es el PUE en sí. "Soy muy crítico con PUE", dijo Summers. "No es una métrica que usaría para describir la eficiencia energética de un centro de datos en su totalidad".

PUE es la relación entre la cantidad total de energía utilizada por un centro de datos y la energía entregada a los equipos informáticos.

Por lo tanto, no lo penaliza por usar hardware de TI ineficiente: podría ejecutar una implementación de TI de 200MW capaz de un solo petaflops de cómputo que podría tener un PUE más bajo que una implementación de 2MW capaz de 10 petaflops.

"El problema es que no teníamos otra métrica para representarlo", dijo Summers. "Aunque la Comisión estaba interesada en que exploráramos otras métricas, o tal vez ideáramos una métrica nosotros mismos, desafortunadamente no existe una métrica más simple que la PUE".

El tema de PUE sigue ejerciendo el sector de centros de datos en Europa. La UE se ha comprometido a alcanzar la neutralidad de carbono continental para 2050, y el sector de centros de datos se ha comprometido a ayudar, al alcanzar el objetivo para 2030, en un Pacto de Centro de Datos Climáticamente Neutral. Sin embargo, para convencer a la UE de su buena fe, el Pacto ha prometido crear una nueva métrica que mejorará la PUE.

Con todas las fallas de PUE, sigue siendo una de las pocas formas que tenemos de medir la eficiencia. Con un PUE anual de 1.0148, BTDC superó a todas las demás instalaciones del mundo, incluido el anterior líder, la Instalación de Integración de Sistemas de Energía de NREL, que alcanzó 1.032 en 2017.

La mayor parte del mundo comercial está muy por debajo de esta marca, pero los hyperscalers como Google y Facebook cuentan con PUE de 1,10 o menos (en países más fríos), gracias a las enormes inversiones en eficiencia energética y algunas economías de escala.

Es posible que los hyperscalers utilicen alguna forma de enfriamiento holístico.

"Descubrimos que saben lo que están haciendo con el enfriamiento en Facebook, pero no se lo han dicho al mundo", dijo Summers. "Creo que cuando la Comisión Europea descubrió que gastaron todo este dinero para averiguar qué está haciendo Facebook", se interrumpió. "Esa es una forma cínica de verlo, pero esa no era la idea completa del proyecto, de todos modos".

En cambio, BTDC esperaba demostrar cuán eficientes podrían ser los centros de datos si colocaban la eficiencia a la vanguardia del diseño y crear un enfoque más abierto para el enfriamiento holístico, poniendo el trabajo en el dominio público.

El proyecto también puede presionar a los fabricantes de servidores para que abran los controles de los ventiladores y también podría ayudar a los reguladores europeos que, a pesar del trabajo del Pacto, todavía parecen estar listos para tomar medidas enérgicas contra esta industria hambrienta de energía.

Un obstáculo para la aplicación del trabajo es que el enfriamiento holístico no es factible para los centros de datos de colocación, donde los servidores son propiedad de los inquilinos, quienes no cederán el control al propietario del colo. Simplemente no puede controlar todos los ventiladores de cada servidor en cada rack.

Aún así, el proyecto está cobrando vida en los centros de datos empresariales utilizados por clientes individuales.

EcoCooling "ahora utiliza un control de enfriamiento holístico en todas sus implementaciones", dijo Summers. "Creo que sus clientes están viendo el valor en eso de inmediato".

Para el primer semestre, también ha habido cierta demanda. "Había una empresa búlgara que quería lo que se construyó en Suecia", dijo Kozma. "Para una pequeña empresa húngara, no tenía sentido ir a Bulgaria a construir, así que les ayudamos a diseñarlo y luego lo construirá una empresa local. Se construirá otra en Noruega con la misma idea".

Fraunhofer también planea comercializar la obra. "La herramienta en sí es de código abierto", dijo Herzog. "Pero lo estamos utilizando para realizar estudios sobre la escalabilidad de nuestras aplicaciones y en nombre de las ciudades cuando intentan diseñar qué tipo de aplicación necesitan alquilar en los centros de datos".

En cuanto a Boden Type One, todavía está ahí. En lugar de derribarlo, los propietarios de activos H1 y EcoCooling vendieron el proyecto. Ahora está configurado para ser expandido y utilizado como una de las granjas de renderizado de efectos visuales más grandes de Europa.