Se o Batman construísse data centers, provavelmente se pareceriam muito com o Data Center da Mina Lefdal.

Localizada a 60 metros abaixo do nível do mar e a 700 metros dentro de uma montanha, a antiga mina de olivina, abandonada, mas agora bastante reaproveitada, é banhada por luz verde e acompanhada pelo barulho das obras que ecoa por todo o seu interior cavernoso.

Descrita por quem trabalha lá como uma "cidade de data centers" – o terceiro andar da instalação tem 300 metros de comprimento e consiste em 14 'ruas', conectadas a uma 'avenida' – os data centers não são muito mais acidentados (ou parecidos com Batcavernas) do que esse.

Mas isso não é Gotham City. Visitar essa 'cidade' subterrânea – para quem ainda não mora na pitoresca cidade de Nordfjordeid, no oeste da Noruega, pelo menos – exige um voo de uma hora em um avião a hélice de Oslo até Sandane, seguido de uma curta viagem de balsa por um fiorde e, em seguida, uma viagem por uma estrada sinuosa que acompanha a beira da água.

É um local discreto para uma estrutura tão imponente, embora não se deixe enganar pelo ambiente instagramável. A Lefdal está interessada em mostrar suas credenciais de segurança e tranquilizar tanto clientes atuais quanto potenciais, citando portões de segurança especialmente projetados, sistemas de controle de acesso em dois fatores, dispositivos de rastreamento obrigatórios para todos no subsolo e acordos com a polícia e os corpos de bombeiros locais, como apenas algumas das medidas que a instalação possui em vigor.

"Esta é uma das instalações mais seguras dos países nórdicos", diz o diretor comercial de Lefdal, Mats Andersson.

Rios profundos, montanhas altas

Para um data center, localização é tudo. Apesar de sua vasta pegada interna, vista do lado de fora, Lefdal tem uma pegada visual incrivelmente mínima, integrando-se de forma bastante harmoniosa à face rochosa ao redor. Isso certamente é uma vantagem em um mundo em que os data centers são cada vez mais vistos como inimigos, com Andersson dizendo à DCD que, durante todo o tempo em que o data center esteve aberto, nenhuma reclamação foi feita pelos moradores locais.

"Um data center como este, normalmente, por fora, seria um grande prédio cinza, sem janelas, no caminho dos bairros e municípios, mas estamos escondidos", ele diz.

Mais importante ainda, a região onde o data center está localizado oferece até 1 GW de energia hidrelétrica e eólica. Nos últimos 20 anos, a Noruega tem apresentado alguns dos menores preços de energia da Europa, com o aumento da produção de energia renovável resultando em um superávit que garante que os custos permaneçam baixos no futuro.

Não surpreendentemente, a instalação é alimentada inteiramente por hidrelétrica e eólica, possui um PUE garantido de 1,15 e um WUE (Eficácia do Uso da Água) que é "próximo de zero" – não possui sistemas de evaporação para resfriamento, utilizando em vez disso água do fiorde próximo de 500 metros de profundidade. Lefdal afirma que pode oferecer alguns dos preços de energia mais baixos da Noruega.

Lefdal foi inaugurado como data center em 2017 e, atualmente, a instalação de 120.000 m² está operacional em três níveis, embora um quarto e um quinto estejam destinados a desenvolvimento futuro.

Seus data halls estão atualmente localizados em dois dos níveis (o Nível 1 abriga exclusivamente a infraestrutura de energia e rede do data center), com a Fase I estendida no Nível 3 totalizando 80 MW, e a Fase II no segundo andar totalizando 120 MW.

Em abril de 2023, Lefdal adicionou uma conexão à rede regional de 132 kV para aumentar a potência disponível para a instalação, com as duplas fontes expansíveis, cada uma com capacidade de até 200 MW. Enquanto isso, a proximidade do data center de suas fontes locais de energia renovável também implica perdas mínimas de transmissão.

Para a terceira fase de construção, que ficará no Nível 4 da mina, Lefdal espera adicionar mais 200 MW de capacidade ao local. Atualmente, um total de 80 MW de capacidade está sendo utilizado, com 10% reservados para uso do governo norueguês.

Apesar das grandes quantidades de energia que chegam ao local, a Lefdal afirma ser neutra em carbono e, atualmente, trabalha com o governo norueguês em um projeto que permitirá reutilizar a água aquecida para alimentar um viveiro de salmão próximo. Caso esse plano seja aprovado, a Lefdal afirma que apoiaria a produção de seis milhões de salmões anualmente, contribuindo para uma eficiência na reutilização térmica de 20 a 25%.

"Depois de concluir isso, eu diria que somos o data center mais ecológico, pelo menos na Europa", diz Andersson.

Para clientes que desejam migrar para o data center subterrâneo, a implantação normalmente leva cerca de 12 meses, desde a assinatura do contrato. Os salões modulares padrão de dados de Lefdal têm 12 metros de altura e 4 metros de largura, mas podem variar em comprimento, oferecendo até 800 m² de espaço em branco por andar. Cada data hall tem capacidade de 10 a 15 MW e é construído como um edifício individual, alimentado por uma infraestrutura compartilhada de energia, resfriamento e rede.

A Lefdal afirma que pode personalizar a densidade de energia, a temperatura, a umidade, os equipamentos operacionais, os níveis e todos os serviços relacionados em seus data halls. Para ambientes refrigerados a ar, o resfriamento em linha é usado para transformar água fria do fiorde em ar frio, permitindo densidades de até 50 kW por rack em um dos salões de 10 MW da Lefdal.

Atualmente, soluções de resfriamento líquido direto estão disponíveis da HPE, Lenovo, Dell e Kaytus, com capacidade de suportar implantações de 300 kW por rack. A Lefdal afirma que, atualmente, está projetando soluções de 400 kW por unidade, além de trabalhar com fornecedores líderes em resfriamento por imersão."

O data center utiliza água fria do fiorde, que é utilizada pelos trocadores de calor e por um circuito de água doce fria, para fornecer água gelada sob o piso elevado. Assim como os data halls, os trocadores de calor também são modulares, cada um com capacidade de 7,5 MW. Existem 12 trocadores de calor no Nível 3, totalizando uma capacidade de resfriamento de 90 MW.

Apresentando o Olivia

Um desses clientes que optou por implantar sua infraestrutura de computação de alto desempenho (HPC) no Datacenter da Mina Lefdal é a estatal Sigma2, responsável por fornecer infraestrutura nacional para ciência computacional na Noruega.

No início de setembro, a DCD, junto com vários outros convidados, foi convidada pela Lefdal para conhecer mais de perto o Olivia, um sistema de 225 milhões de NOK (125,7 milhões de reais) construído para suportar aplicações de HPC e IA.

Inaugurado em junho de 2025 e nomeado Olivia em homenagem ao mineral olivina extraído onde o data center está atualmente instalado, o sistema HPE Cray Supercomputing EX apoiará pesquisas em diversos setores, incluindo clima, saúde, oceanos e inteligência artificial (IA).

O sistema é composto por 304 GPUs Nvidia GH200, 64.512 núcleos de CPU AMD Epyc Turin, fornecendo 13,2 petaflops de desempenho sustentado Linpack, e é interconectado pelo HPE Slingshot, além de contar com capacidade de armazenamento de 5,3 PB. Ele tem um consumo de energia de apenas 219 kW e oferece 60,274 gigaflops de desempenho por watt.

Na edição mais recente da lista Green500 dos supercomputadores mais eficientes em energia do mundo, Olivia ficou em 22º lugar. Ele ficou em 117º lugar na lista dos sistemas mais poderosos do Top500.

Helge Stranden, conselheiro sênior de infraestrutura HPC e armazenamento na Sigma2, afirma que hospedar o Olivia na Lefdal surgiu do desejo de garantir a previsibilidade do espaço e da infraestrutura física necessária para supercomputadores.

Até 2017, a Sigma2 possuía quatro instalações de HPC, localizadas nas quatro principais universidades da Noruega – Tromsø, Trondheim, Bergen e Oslo – que formam uma colaboração conhecida como NRIS (Serviços Noruegueses de Infraestrutura de Pesquisa).

A Universidade Norueguesa de Ciência e Tecnologia (NTNU) em Trondheim abriga a antecessora de Olivia, a Betzy de 6,2 petaflops, enquanto a Lumi de 375 petaflops – copropriedade da Sigma2 e da EuroHPC JU – está alojada no data center da CSC em Kajaani, Finlândia.

No entanto, a empresa decidiu reduzir o número de locais para dois e reforçar a previsibilidade de longo prazo tanto do espaço quanto da infraestrutura física necessária para futuras implantações de supercomputação, o que, segundo Stranden, sempre foi um desafio nos prédios universitários, já que eles não foram construídos com a intenção de abrigar ofertas de HPC em grande escala.

"Ao mesmo tempo, a Sigma2 queria explorar a possibilidade de ter um local externo", diz Stranden. Sete data centers em toda a Noruega apresentaram suas ofertas, mas, no final, a Lefdal prevaleceu, e as duas empresas assinaram um contrato em 2021.

Ao selecionar um data center, a Sigma2 avaliou todas as possíveis instalações em três categorias principais: preço e desempenho técnico, desempenho social e ambiental e qualidade do serviço.

"70% dos fornecedores de infraestrutura em Lefdal são locais desta região", diz Stranden. "Você não precisa chegar lá de avião para dar suporte. Além disso, o que experimentamos ao trabalhar com a equipe e os parceiros do Datacenter da Lefdal Mine é que parece fazer parte de uma grande família, o que é muito bom para nós. Funciona muito bem assim."

A escalabilidade previsível de Lefdal, seus altos níveis de segurança física e "excelente separação" entre clientes de colocation, assim como os planos do viveiro de salmão para reutilização excessiva de calor, também influenciaram a tomada de decisão da Sigma2, acrescentou.

Enquanto o Olivia só entrou em operação há quatro meses, Stranden diz que o feedback inicial dos usuários-piloto do supercomputador tem sido positivo. Comparado à Betzy, os clientes relataram que os jobs de CPU rodam mais de 2x mais rápido no Olivia, enquanto os jobs de GPU são supostamente 3 vezes mais rápidos do que no Lumi, usando a mesma quantidade de recursos.

Lefdal para além

Embora a maioria dos supercomputadores normalmente tenha uma vida útil de cinco a sete anos, Andersson diz que o data center consegue elaborar contratos que duram 15 anos ou mais, porque os clientes percebem que a abundância de energia e espaço da mina podem fornecer um lar sólido para sua infraestrutura de computação por muito tempo, não apenas no curto prazo.

Parte desse esforço de preparação para o futuro é preparar data halls para a próxima geração de racks – no início deste ano, a AMD revelou seu sistema duplo Helios em escala de rack, baseado na próxima série de GPUs MI400 da empresa.

"Hoje, estamos colocando racks pré-configurados em data halls, e [eles] pesam muito", diz Andersson. "Mas daqui a três a quatro anos, esperamos racks que talvez precisem ser transportados em patins de três metros por seis metros por três metros, pesando 35.000 libras. Uma unidade de IA, testada em tecido e construída especialmente em uma única peça.

"Então, quando conversarmos com nossos clientes e construirmos esses data halls, estamos nos preparando para portas mais largas e pisos mais sólidos. Estamos nos preparando para pesos acima disso e para derrapagens ainda maiores. Essas são coisas que já precisamos considerar, porque quando construímos esses data centers, eles precisam ser à prova de futuro, mas também apoiar o que está por vir no lado logístico."

Andersson acrescenta que, para a Lefdal, essas conversas são mais fáceis de ter porque o data center frequentemente trabalha com clientes que realizam reuniões regulares com Nvidia e AMD para discutir seus pipelines.

"Lembre-se sempre: se fôssemos um data center em um prédio normal, em uma cidade de cinco andares, ficaríamos preocupados com um megawatt por rack, de forma diferente do que estamos [em Lefdal]", diz ele. "Somos sortudos por não termos que pensar no resfriamento e nas densidades como eles."