Resfriamento líquido já é coisa do passado. Não é bem assim, mas a indústria aprendeu a acomodar refrigeração líquida direta para chip (e trocadores de calor traseiros) sem muita complicação em poucos anos.
Claro que não foi muito trabalho, o que significa novos projetos de instalação, novas habilidades, novas cadeias de suprimentos e uma variedade de novos fornecedores entrando no mercado. Tudo isso enquanto atendia à demanda crescente de uma indústria que explodia de um modo que poucos poderiam prever, no estilo clássico de construir o avião enquanto voa.
Mas a mudança foi feita. E, em 2026, um cliente que diz que precisa de resfriamento líquido não vai causar o mesmo tipo de estresse que poderia ter causado até cinco anos atrás.
Agora, porém, uma mudança ainda maior pode estar no horizonte. Durante um evento recente em Buffalo, Nova York, a Schneider Electric apresentou sua estratégia para o futuro dos racks de alta densidade, plantando firmemente uma bandeira ao afirmar que racks de 1 MW estão chegando e que pelo menos parte da indústria precisará acomodar 800 V DC.
Cada vez mais denso
Steven Carlini, chefe de data centers e IA da Schneider Electric, disse que, embora a densidade média dos racks ainda esteja em torno de 15 kW – com variações enormes dependendo do caso de uso –, previu que a densidade média de potência por rack de TI de todos os racks instalados poderia chegar a 150 kW até 2050. Isso ainda está longe, mas pode ter grandes repercussões para uma indústria que já trabalha duro para atender às necessidades atuais.
Embora densidades de rack de 150 kW sejam altas, elas estão bem dentro do alcance que a indústria deveria conseguir atender, mesmo que instalações inteiras com números tão altos consumam energia de forma excessiva. O problema, no entanto, está no hardware de alta densidade a que a Nvidia diz que precisaremos atender.
Com sua próxima arquitetura Feynman, a Nvidia pode lançar sistemas de rack de GPU de 1 MW já em 2028.
Manish Kumar, vice-presidente executivo da Schneider Electric para energia segura e data centers, observou que data centers projetados para lidar com racks de 1 MW trarão "turbulência" que exigirá uma reinvenção de como construímos, projetamos e operamos data centers. Nada demais, não é?
Racks de 1 MW e a transição para 800 V CC
Racks de 1 MW exigirão uma reengenharia completa da forma como abordamos a arquitetura de energia no data center. Mais notavelmente, tais densidades de rack exigirão uma mudança da energia AC para DC – 800 V DC, para ser preciso.
Rob Bunger, diretor técnico e de soluções de nuvem e serviços da Schneider Electric, disse que a distribuição de energia em rack de 48-54 VDC e as aproximações de tensão de alimentação de 480 VAC atingem limites práticos além de ~400kW por rack devido à quantidade de congestionamento de alimentadores e conectores dentro do rack de TI; a quantidade de espaço na estante que acaba sendo ocupada por prateleiras elétricas e BBUs; e capacidades de energia da barra barreira em baixa tensão.
Embora ainda não estejamos lá, a Nvidia espera entregar um sistema de rack de 600 kW até 2027.
Os atuais sistemas de rack de 72 GPUs, que podem consumir cerca de 150 kW por rack, requerem oito whips ou alimentações de energia. Mas sistemas de rack com 144 GPUs, que exigem 1 MW de energia, podem precisar de 32 desses feeds, o que se torna incontrolável.
No curto prazo, Bunger prevê uma maior adoção de sidecars power rack, pois eles podem ser instalados em data centers existentes orientados a CA, reduzir as zonas de falha a um único rack, ser implantados mais rapidamente e utilizar cadeias de suprimentos já estabelecidas na indústria de veículos elétricos. Esses, segundo a empresa, podem ser "encaixados no lugar" para acomodar alguns desses racks de densidade extrema em instalações existentes.
Embora a Nvidia esteja ultrapassando limites em termos de potência de chips, os principais especialistas em hyperscaling parecem apoiar a ideia dos sidecars e os roadmaps de Jensen Huang.
Meta, Microsoft e Google estão trabalhando com o Open Compute Project em projetos para o Mount Diablo, um rack de energia sidecar AC-para-DC que desagrega componentes de energia do rack de TI para uma unidade vizinha. Os fornecedores da cadeia de suprimentos estão se alinhando rapidamente para atender a essas necessidades.
Ao falar sobre isso no evento OCP EMEA, em Dublin, no ano passado, as previsões indicavam que veríamos densidades superiores a 500 kW por rack até 2030. Esses prazos parecem ter sido adiantados nesse intervalo de cerca de 12 meses.
Alimentação CC em toda a instalação
Embora os sidecars possam permitir que instalações legadas acomodem racks de alta densidade alimentados por DC sem uma reforma interna completa, a Bunger espera ver os primeiros data centers de distribuição DC em nível de instalação até 2028 ou 2029.
Depois de certo ponto, ele diz que muitos sidecars DC se tornam impraticáveis, e os operadores terão que começar a centralizar a energia DC – primeiro para o data hall e depois, talvez, até para toda a instalação.
A adoção do resfriamento líquido foi uma mudança tectônica na forma como os data centers são construídos e operados. E isso, mesmo com resfriamento líquido no data center há décadas. E, assim como a indústria parecia estar cada vez mais confortável com as demandas do líquido, agora espera-se que considere ao menos uma mudança elétrica em grande escala se quiser atender ao extremo das cargas de trabalho de IA.
O Google usa 48 V DC em muitos de seus racks há mais de uma década, e as empresas de telecomunicações usam 48 V DC desde os primeiros dias das redes telefônicas de cobre. Mas Bunger diz à DCD que a transição para 800 V DC traz mais aprendizados no mundo solar e no de veículos elétricos do que no universo das telecomunicações tradicionais.
Data centers de 800 V DC em toda a instalação podem muito bem exigir transformadores de estado sólido ou unidades retificadoras de transformadores, além de uma reavaliação e um redesenho dos equipamentos de distribuição de energia.
Em um blog sobre o tema, a empresa afirmou que, embora esse equipamento possa ser refrigerado a ar da mesma forma que os equipamentos tradicionais de sala elétrica, "a pressão sobre a densidade de potência eventualmente levará à criação de infraestrutura de energia refrigerada a líquido" e, em alguns casos, exigirá CDUs localizadas ou menores para gerenciar as condições térmicas entre servidores e sistemas de energia.
Equipamentos de rede e de suporte também podem exigir que as empresas mantenham sistemas de propulsão AC no espaço em branco para alimentar equipamentos de resfriamento menores, como CDUs e CRAHs. A Schneider publicou um white paper, "5 Princípios para 800 VDC em Centros de Dados de IA", sobre o tema.
Mas a empresa observa que 800 VDC não será uma arquitetura única e variará conforme fatores como a composição da carga de trabalho, restrições da instalação, objetivos de resiliência e ambientes regulatórios. Poderíamos ver diferentes arquiteturas de pod, de data hall e de instalações surgirem.
No artigo, a Schneider observa que a padronização da cadeia de suprimentos em sistemas completos de 800 VDC permanece limitada. Também se observa que menos eletricistas, técnicos e organizações de serviços têm experiência direta na instalação e no comissionamento de sistemas DC de maior tensão – e há menos padrões maduros da indústria, ferramentas e metodologias para avaliar riscos específicos de DC.
Também não espere muitos ganhos de eficiência ao mudar para DC – Schneider disse que, apesar da redução nas conversões entre AC e DC em um ambiente de 800 V DC, a empresa esperaria apenas que a redução das perdas por ineficiência ficasse na casa dos dígitos baixos – talvez uma melhora de 1,5%.
Quando questionado se o design dos data centers – especialmente no que diz respeito à proporção entre espaço em branco e espaço cinza – provavelmente será muito diferente se uma instalação de 100 MW tiver apenas 100 racks de equipamentos de TI, Bunger admite que a proporção de equipamentos da instalação provavelmente mudará. Ele observa, no entanto, que também poderíamos acabar com um mundo de salões de dados de alta densidade, com energia DC, situados em instalações maiores, principalmente alimentados por corrente alternada.
A Switch afirma que poderá até atender racks de 2 MW – mas poucas outras empresas do Colorado falaram publicamente sobre o assunto até agora, pelo que a DCD constatou.
Partindo do princípio de que as GPUs vão continuar a evoluir indefinidamente
A DCD certamente continuará cobrindo cada vez mais o esforço da indústria para a distribuição DC nos próximos anos. A DCD se pergunta, porém, se a indústria está pronta para mudar a topologia elétrica de suas instalações simplesmente porque a Nvidia mandou.
Durante uma visita à fábrica de suas CDUs e trocadores de calor na porta traseira, Rich Whitmore, CEO da Motivair by Schneider Electric, disse à DCD que a empresa já viu 400 kW por rack em alguns ambientes HPC com clientes governamentais, sugerindo que pode haver demanda para ultrapassar essa marca, em que a distribuição de AC se torna um desafio.
Quando perguntado se realmente haverá demanda por computação tão densa, Manish Kumar, vice-presidente executivo da Schneider Electric para energia segura e data centers, diz à DCD que essa é uma pergunta melhor feita às empresas de chips, simplesmente dizendo que sua empresa quer dar suporte a isso.
Kumar reafirma que a empresa prevê ver os primeiros racks de 1 MW instalados – e 800 V DC por procuração – até 2028/2029. Ele admite que representará uma pequena porcentagem do mercado de computação de alto desempenho nos primeiros anos, à medida que a cadeia de suprimentos desses sistemas se escala.
"O resfriamento líquido não era usado pela maioria dos data centers há três anos; agora é a condição padrão", diz ele. "A densidade do rack costumava ser de 15 kW, não de 140 kW. O ecossistema Nvidia de players de neocloud será o primeiro a adotar; depois, os grandes players de modelos de linguagem e os hyperscalers. Provavelmente serão os colos que vão se juntar quando essas coisas forem comprovadas em larga escala e isso virar uma aplicação em massa."
Mas quão grande será a demanda por densidades tão extremas? Bunger, da Schneider, sugere que 10% das cargas de trabalho de IA podem estar em densidades que exigem 800 V DC até 2030. Quase tudo isso será para o extremo do treinamento, utilizado pelas empresas mais avançadas.
A Schneider afirma que as cargas de trabalho de IA representarão 70% das implantações de TI daqui para frente – uma mudança nada pequena em uma indústria que espera trazer dezenas de gigawatts de capacidade online nos próximos anos. Mesmo uma pequena porcentagem desse total de pessoas que precisam de energia DC representaria uma mudança notável no setor.
Mas tudo isso pressupõe que o mundo continue a seguir a vontade da Nvidia.
A Nvidia vai continuar conseguindo acompanhar a 'lei de Huang' e a ideia de que o desempenho da GPU mais do que dobra a cada dois anos? E mesmo que a empresa consiga continuar crescendo, a IA vai precisar de ciclos contínuos ou de GPUs cada vez mais densas?
Empresas como Cerebras, SambaNova e d-Matrix estão desenvolvendo silício especializado que não requer o mesmo nível de energia que as GPUs da Nvidia. As TPUs do Google, embora não sejam preguiçosas, são conhecidas por operarem a temperaturas mais baixas do que as GPUs compatíveis. Até mesmo a própria Nvidia está começando a oferecer LPUs em combinação com GPUs para executar certas tarefas de forma mais eficaz do que simplesmente forçar problemas com mais Blackwells ou Rubins.
Sem dúvida, podemos esperar silícios especializados mais eficientes no futuro, especialmente projetados para treinamento. E se a indústria migrar para inferências em larga escala, como muitos prevêem, muitas cargas de trabalho de IA funcionarão bem o suficiente em hardware menos potente. Não vamos precisar de racks de 1 MW para pedir ao ChatGPT que faça lição de matemática ou para alimentar uma namorada de IA.
E talvez os modelos de treinamento atinjam um limite que o hardware não consegue superar. Há um limite para os dados gerados por humanos no mundo para treinar modelos, e dados sintéticos em excesso podem levar ao colapso desses modelos. As melhorias entre cada nova geração de LLMs também parecem estar se estreitando, e talvez haja um teto para a qualidade dos LLMs sem mudanças radicais na forma como são programados, o que pode alterar a equação quanto às necessidades de hardware.
Estamos planejando fazer uma superengenharia para um futuro superdenso que nunca vai chegar? Ou pelo menos um que seja tão específico que mal valha a pena considerá-lo para 99% da indústria?
Posso muito bem estar errado. Não vou imitar Thomas Watson dizendo que talvez seja necessário apenas cinco instalações de rack de 1 MW. O passado frequentemente informa o futuro, e nos diz que essa indústria sempre precisará de mais poder.
Ser um dos primeiros a construir um data center totalmente DC pode ser muito corajoso e lucrativo para quem tem coragem de tentar.
Mas pedir uma reavaliação completa de um setor com base no roadmap de produto de uma empresa e na suposição de que não haveria disrupção nesse setor nesse meio tempo parece uma aposta arriscada.
Comments