Por muitos anos, o resfriamento por imersão foi difícil de vender para os hiperescalas: o novo formato e as diferenças operacionais representavam um desafio único e potencialmente indesejável, especialmente porque as densidades dos racks anteriores faziam as capacidades de imersão parecerem excessivas. Temores quanto ao que poderia significar para a equipe submergir hardware de computador valioso em líquidos também têm sido um obstáculo.

Mas com o rápido crescimento das necessidades de energia das GPUs, a indústria de data centers está trabalhando duro para encontrar uma forma de resfriar racks capazes de atingir densidades de 1 MW. Hiperescalas estão projetando módulos laterais personalizados tanto para energia quanto para resfriamento e, nesse processo, poderiam redesenhar instalações do zero para se adequar às mais recentes ofertas de hardware da Nvidia.

O resfriamento por imersão, uma tecnologia tradicionalmente preferida por mineradores de criptomoedas em vez de fornecedores de IA ou nuvem, pode não oferecer, atualmente, tanques de 1 MW, mas pode oferecer aos operadores uma forma de alcançar densidades maiores sem precisar reescrever as regras. Talvez seja hora de reconsiderar o resfriamento por imersão, especialmente porque algumas pesquisas sugerem que ele pode levar a um maior tempo de atividade e a hardware mais resistente.

A vez da imersão?

Por anos, o resfriamento por imersão foi o reduto dos mineradores de criptomoedas. As empresas de criptomoedas ainda são as maiores fornecedoras de imersão, mas as implantações que hospedam TI tradicional estão crescendo.

Colocar um tanque de imersão de alta densidade em uma sala requer menos infraestrutura do que um ambiente refrigerado a ar, e um número crescente de players de Edge está considerando oferecer serviços de imersão em áreas metropolitanas, muitas vezes em prédios comerciais com capacidade disponível.

As densidades dos tanques de imersão variam, mas não é incomum ver fornecedores oferecendo densidades de até 100 kW ou mais, algumas chegando a 200-300 kW.

Diversos fornecedores de fluidos refrigerantes, incluindo a Shell e a Castrol, possuem seus próprios tanques de imersão, tanto para testar seus fluidos mais recentes quanto para mostrar a potenciais clientes como essas instalações podem funcionar no mundo real.

Operadores de data center estabelecidos, como a Stack, a Aligned e a CyrusOne, afirmam que seus projetos mais recentes de data center refrigerados a líquido suportam resfriamento por imersão. A NTT possui um sistema de resfriamento por imersão em sua instalação em Mumbai, Índia. A empresa de serviços em nuvem PeaSoup instalou tanques de imersão nos data centers do Centersquare. A Firmus, outro fornecedor australiano de serviços em nuvem, possui um sistema de imersão na instalação da STT GDC em Singapura e planeja implantá-lo em larga escala em toda a Austrália, em parceria com a NextDC.

Uma visão realista da imersão

Uma empresa que utiliza resfriamento por imersão em grande escala há anos é a australiana DUG. Anteriormente conhecida como DownUnder GeoSolutions, a empresa foi fundada em Perth em 2003 com o objetivo de fornecer soluções computacionais para análise científica de dados e oferece HPC como serviço aos seus clientes.

Atualmente, a DUG possui implantações de HPC em Houston, Texas, Kuala Lumpur, Malásia, e Perth, Austrália, com um total de dezenas de milhares de servidores refrigerados por imersão.

A empresa também planeja abrir outra sede em Geraldton, na Austrália Ocidental, cerca de 400 km ao norte de Perth. Seus clientes incluem várias universidades, o estaleiro Austal, a agência australiana de pesquisa CSIRO, a empresa de criptomoedas HODL Ranch e diversas empresas de petróleo e gás.

A empresa atua em resfriamento por imersão em grande escala há mais de uma década, utilizando principalmente seus próprios tanques e sistemas de resfriamento, mas não se considera um data center nem uma empresa de resfriamento.

"Isso não é quem somos", diz Matt Lamont, CEO da DUG. "Nossa receita vem principalmente do processamento e da visualização de dados sísmicos."

Embora historicamente tenha mantido seus projetos de data centers e de tecnologia em segredo, a DUG está começando a oferecer seus produtos para terceiros. A fornecedora de soluções de refrigeração, Baltimore Aircoil Company, Inc. (BAC), possui um acordo de licenciamento com a DUG para vender sua tecnologia proprietária de resfriamento por imersão. A DUG também está oferecendo um novo módulo de data center refrigerado por imersão, denominado Nomad, para seus clientes que desejam manter os dados hospedados localmente.

Lamont diz que a empresa projetou seus próprios tanques porque não gostava dos tanques disponíveis no mercado na época e achava que poderia fabricar os seus mais confiáveis por menos dinheiro. Seus tanques padrão de 26U originalmente podiam atingir cerca de 50 kW, embora a empresa tenha aumentado essa potência para 60-70 kW com alguns ajustes nos componentes, enquanto os tanques Nomad podem alcançar cerca de 100 kW graças à introdução de um segundo trocador de calor.

"Todas essas coisas foram desenvolvidas para nos ajudar no nosso negócio de ciência digital", diz Lamont. "Tudo o que temos, no que diz respeito à computação, está sempre submerso. Nunca faríamos de outra forma. Você seria louco se fizesse de outro jeito."

«Simplesmente funciona»

A simplicidade operacional e a resiliência do resfriamento por imersão permitem que o DUG opere com tempo de funcionamento muito elevado, sem a necessidade de investir em grandes quantidades de infraestrutura redundante que seriam necessárias em uma configuração de resfriamento a ar ou líquido diretamente no chip.

Embora os serviços de computação sísmica da DUG sejam baseados principalmente em computação em lote, a empresa oferece alguns produtos HPC-as-a-Service, mas não opera em acordos de nível de serviço em hiperescala (SLAs) para seus clientes, oferecendo, em geral, 99,95% de tempo de atividade. No entanto, Matt Lamont observa que qualquer indisponibilidade prolongada seria "muito sério" para a empresa.

Dan Lamont, diretor comercial da DUG na época da nossa conversa e, agora, CFO interino, observa que a empresa não opera em um ambiente Tier III em seu próprio data center.

Embora haja alguma energia de reserva para sistemas de armazenamento e de rede, não há backup para a computação. A frota de servidores da empresa opera em uma configuração sem estado, portanto, servidores individuais são transferidos para outra máquina.

"Não temos N+1. Não temos 2N. Mas também operamos em torno de 99,999% (tempo de atividade) graças à resiliência e à simplicidade do sistema", diz Dan. Embora possua detectores de fumaça, a empresa nem sequer dispõe de sistemas de supressão de incêndio nas salas de dados, pois a temperatura de ignição do fluido dielétrico é muito alta. No entanto, a empresa observa que nem todos os fluidos têm o mesmo ponto de inflexão.

"Tínhamos uma GPU Nvidia com defeito. Instalamos. Ela entrou em curto-circuito e queimou. Emitiu fumaça e disparou os alarmes. Mas nada aconteceu", diz Matt. "Acabamos de desligar a energia daquela GPU e o resto do tanque continuou funcionando enquanto removíamos ele. Se isso não causar problemas, nada vai."

Os tanques têm bombas duplas para redundância, mas pouco mais.

"Quando começamos a fazer isso, tínhamos trocadores de calor extras", acrescenta Matt. "Mas nunca os eles. Esse é o nosso sistema; trabalhamos nele por alguns anos para torná-lo tão simples quanto é."

Vale notar que a DUG não tem tampas nos tanques e a empresa afirma que, ocasionalmente, precisa remover poeira do fundo, um processo de limpeza que, segundo ela, é principalmente estético, já que a poeira não afeta o funcionamento.

"Há muito tempo, um cliente entrou na sala de computador com uma xícara de café e a deixou cair metade nesse tanque", diz Matt. "E nada parou; tudo continuou funcionando. Não fizemos nada. É realmente robusto."

Apesar disso, Matt observa que a empresa tem um histórico de alta disponibilidade: "Recentemente fizemos um trabalho em que usamos máquinas 8600 completas, que rodaram por 38 dias em uma única tarefa. Esse é o tipo de confiabilidade que obtemos dessas máquinas, e muito disso se baseia no resfriamento por imersão."

Diferenças operacionais com o resfriamento por imersão

A DUG sugere que o treinamento e as habilidades necessárias para operar e manter um ambiente refrigerado por imersão são essencialmente os mesmos que para ambientes refrigerados a ar ou a líquido, diretamente no chip.

Seus tanques patenteados, desenvolvidos pelos próprios engenheiros da empresa, foram projetados para serem o mais simples e robustos possível.

"Eles tinham bons motivos para torná-lo robusto e simples, porque foram eles que tiveram que conviver com isso", diz Matt Lamont.

Os Lamont dizem que não acham que precisaram reabastecer ou trocar o líquido em nenhum tanque, e que fizeram análises químicas para verificar a condição do líquido, mas nunca observaram mudanças perceptíveis. Eles brincam que a única diferença é que engenheiros poderiam ter mãos mais macias se usassem um líquido de imersão não tóxico, sem luvas.

No entanto, tanques de imersão em salas de dados apresentam um desafio operacional distinto dos racks tradicionais. Servidores e equipamentos devem ser inseridos e removidos dos tanques verticalmente, em vez de deslizá-los horizontalmente.

Em muitas instalações, é comum ter um guindaste portátil, semelhante ao usado para remover motores de carros, ou um sistema suspenso fixo, se o espaço permitir.

Uma vez removidos os servidores, o fluido dielétrico deve ser coletado e limpo dos servidores removidos, o que frequentemente requer uma bandeja de gotejamento e uma solução de limpeza. Embora não seja o processo mais complicado, é uma forma diferente de operar que exige consideração.

A empresa de resfriamento por imersão Submer está desenvolvendo um robô para automatizar a instalação e remoção de servidores dos tanques de imersão. A empresa lançou pela primeira vez a versão original do seu Autonomous Datacenter Assistant (ADA) em outubro de 2021 e já havia anunciado que uma nova versão seria lançada no final de 2025. A Submer não é a primeira a tentar automatizar a implantação de servidores em tanques de imersão.

A TMGcore lançou o Otto, um sistema de resfriamento por imersão em dois estágios que utilizava braços robóticos para realizar tarefas de manutenção, por volta de 2020. No entanto, em vez de um robô móvel, Otto era um sistema fixo conectado ao tanque. Projetado em colaboração com a Olympus Controls, ele foi equipado com um gabinete no tanque que abrigava servidores de backup e espaços abertos para hardware aposentado.

Por muito tempo, submergir servidores em líquido de imersão era feito por conta e risco do proprietário. Preparar as máquinas para imersão pode dar muito trabalho se seus servidores não forem projetados especificamente para isso: você precisa remover os ventiladores (e substituí-los por um replicador ou trocar o BIOS), assim como os dissipadores de calor e a pasta térmica. Os cabos que conectam servidores a outros equipamentos também devem ser posicionados corretamente, caso contrário, o líquido poderia viajar por eles (uma ação capilar também conhecida como "absorção").

Até recentemente, nenhum dos servidores que a DUG comprou tinha qualquer garantia além das falhas iniciais. Isso se devia principalmente ao fato de que poucos fabricantes oferecem qualquer garantia contra hardware submerso. Agora, vários fornecedores estão começando a oferecer garantias contra a imersão, e a DUG aceitou as ofertas dessas empresas.

"Nunca precisamos", diz Matt Lamont. "Nunca foi um problema."

Confiabilidade da imersão: o que dizem os números?

Mas a DUG não é a única empresa a ter alta disponibilidade em ambientes imersivos.

Durante uma palestra na cúpula EMEA do Open Compute Project, realizada na Irlanda no ano passado, Austin Hipes, CTO e vice-presidente de engenharia da integradora de sistemas Unicom Engineering, apresentou dados de confiabilidade de uma implantação em larga escala de resfriamento por imersão na Ásia.

Um total de 3590 servidores Xeon de segunda e terceira geração, refrigerados por imersão, foi implantado em um "data center de nível 1 em APJ". As unidades servidoras, de um "fabricante Tier 1 que todos reconheceriam", foram implantadas em tanques ICEraQ FLEX GRC com fluido dielétrico PAO4, uma configuração que Hipes descreveu como "uma implementação muito padrão"."

Do primeiro trimestre de 2023 ao primeiro trimestre de 2025, os servidores Xeon de segunda geração registraram uma taxa de falha trimestral de apenas 0,9%, enquanto os servidores de terceira geração registraram 1,9%. Se falhas precoces (sugerindo defeitos de fabricação) e problemas de fiação forem eliminados, as taxas de falha são reduzidas para 0,6% e 1,4% nos discos de segunda e terceira geração, respectivamente.

"Em ambas as situações, sejam eliminados ou mantidos os defeitos iniciais e os cabos, a confiabilidade é superior a 99,999%", disse Hipes.

Hipes observou que os dados de sua empresa sobre falhas de servidor incluem janelas de serviço, sugerindo que, embora "possa levar um pouco mais de tempo para consertar um servidor de imersão", o tempo de atividade geral ainda é melhor. Ele observa que, embora possa haver meia ou uma hora extra de tempo de serviço, menos reparos são feitos porque a confiabilidade geral é melhor.

A instalação em questão também possuía servidores refrigerados a ar, refrigerados por placa fria e refrigerados por imersão do mesmo modelo, e dados de confiabilidade sugerem que o tempo de inatividade dos servidores de imersão é cerca de um oitavo do de servidores refrigerados a ar comparáveis. Mas os números reais poderiam ser ainda melhores.

"Acreditamos que essas taxas de falha são, na verdade, muito maiores do que as observadas atualmente na indústria e muito maiores do que as que tivemos em outras implementações", disse Hipes durante a apresentação. "Várias etapas do processo de conversão resultaram na redução da confiabilidade de alguns desses componentes."

O trabalho de conversão realizado pelo operador anônimo para preparar os servidores para a imersão foi menor do que o que seria feito por um integrador de sistemas especializado, o que resultou em mais falhas.

O trabalho de conversão foi realizado no chão da sala de dados, o que poderia ter causado desperdício; nenhuma chave torque foi usada nos componentes; a pasta térmica era removida das CPUs com papel de seda padrão, deixando resíduos e gerando eletricidade estática; os dissipadores de calor foram montados sem ferramentas adequadas de inserção, levando a desalinhamentos e danos. O manuseio geral descuidado do hardware causava danos às placas-mãe e a outros componentes. A configuração dos cabos DAC também gerou tensões adicionais e mais falhas de cabos do que o normal.

"Não era um ambiente de integração", disse Hipes. "Tudo foi ajustado à mão conforme o que o técnico considerou apropriado. O trabalho era literalmente feito no chão do data center, nem mesmo em bancadas de trabalho. Houve muitos problemas de manuseio ao reinserir as CPUs após as limpar, e os dissipadores foram substituídos."

Uma placa-mãe sofreu uma explosão da CPU porque um material condutor solto não foi removido corretamente. Detritos flutuaram pelo tanque até atingirem o ponto errado, caindo bem entre dois reguladores de voltagem da CPU, causando um curto-circuito.

"Apesar da gravidade dos danos, em que a placa de circuito impresso derreteu, não houve impacto no restante do tanque", observou Hipes. "Eles nem sabiam que um curto-circuito estava acontecendo; só sabiam que o servidor havia parado de funcionar. Todas as outras plataformas funcionaram perfeitamente."

Apesar de poder ser descrito como trabalho ruim, os servidores submersos do data center ainda tinham melhor tempo de funcionamento do que seus equivalentes refrigerados a ar.

"As taxas de confiabilidade aqui, as taxas de falha, ainda são melhores do que no ar, mesmo com esses problemas específicos", concluiu Hipes. "Em outras implementações, que normalmente não são nessa escala, a confiabilidade é, na verdade, melhor. [Isso] é visivelmente pior do que outras implementações em que já estivemos envolvidos."