Escondida em uma pacata cidade finlandesa, dentro do salão gigante de uma fábrica de papel abandonada, a DCD se depara com uma vasta caixa brilhante.

Estamos em Kajaani, localizado no centro da Finlândia, para ver o Lumi, um projeto de 7,1 MW da União Europeia criado para ajudar o Bloco à medida que entramos nos primeiros turnos de uma era de pesquisa científica assistida por inteligência artificial.

Agora o oitavo supercomputador mais poderoso do mundo (recentemente saiu dos cinco primeiros), o Lumi deveria ter uma boa aparência. 'A Rainha do Norte', como seus operadores a chamam, é um edifício dentro de um edifício.

Essa matéria foi publicada na edição 55 da DCD Magazine. Leia gratuitamente hoje.

O salão cavernoso do antigo local da United Paper Mills é tão grande que atua apenas como uma concha protetora de primeira camada ao redor do próprio data center, construído em proporções comparativamente modestas, com 300 m².

Um supercomputador de sistema HPE Cray EX235a, possui 2.978 CPUs AMD Epyc Trento, 11.912 GPUs AMD MI250X e outras 2.048 CPUs AMD de soquete duplo em uma partição separada. Ao todo, tem um desempenho sustentado de 379,7 petaflops (HPL).

Sua fachada é intencionalmente irregular, com paredes retas substituídas por ângulos estranhos. O rosto é pontilhado por fendas, das quais emerge uma luz brilhante. Ao contrário do data center cinza usual, este parece mais próximo de uma bugiganga futurista de Natal.

"O revestimento e a aparência de alumínio eram uma questão relativamente trivial no orçamento, e pressionamos o gerente de produto e os arquitetos a criar algo que parecesse especial", diz o Dr. Pekka Manninen, diretor de ciência e tecnologia da Lumi.

"Apenas pelo trabalho das partes interessadas e pela boa vontade política, acho que valeu a pena".

Em uma época de crises econômicas e políticas sempre presentes, onde a ciência é frequentemente criticada como uma bobagem de luxo, Manninen e os outros funcionários da Lumi estão ansiosos para promover repetidamente a virtude mais ampla dos supercomputadores. O Lumi tem sido bom para os habitantes locais, para a UE e para a humanidade em geral, dizem eles.

O colapso da fábrica da UPM, que já foi o maior empregador da cidade, não foi a sentença de morte econômica que poderia ter sido para Kajaani. A UPM gastou milhões de euros no apoio a funcionários demitidos e na conversão do local em um parque empresarial após o fechamento em 2008, enquanto o governo finlandês injetou dezenas de milhões de euros a mais.

Na mesma época, o aumento do preço da fibra de madeira finlandesa e a diminuição da demanda por papel fizeram outra vítima - a Summa Mill da Stora Enso em Hamina, ao sul.

Esse site foi escolhido pelo Google em 2009, que o converteu em um data center exclusivo resfriado por água do mar. Em maio de 2024, o Google anunciou uma expansão de 1 bilhão de euros (6,6 bilhões de reais) para o site, elevando seu investimento total na Finlândia para mais de 4,5 bilhões de euros (30 bilhões de reais).

Esse acordo deu a Manninen e ao Centro de Ciência de TI da Finlândia (CSC) uma ideia: procurar sua própria fábrica de papel em desuso. O CSC estava operando em Keilaniemi, perto de Helsinque, na época. "É o preço de metro quadrado mais caro para espaço no país, e então descobrimos que não conseguiríamos colocar mais de 1 MW online", diz o Dr. Manninen. "Vimos o que o Google fez e analisamos três fábricas diferentes antes de acabarmos aqui".

Kajaani se beneficia de temperaturas ambientes baixas, mas não extremamente baixas, e possui uma série de usinas hidrelétricas que foram construídas para apoiar a usina, com cerca de 235 MW disponíveis.

O CSC logo transferiu os supercomputadores nacionais da Finlândia para um local no parque empresarial Renforsin Ranta na cidade, com o governo novamente fornecendo financiamento adicional para apoiar Kajaani. A SGI, A Cray e até mesmo a T-Platforms da Rússia forneceram supercomputadores para a agência ao longo dos anos.

Atualmente, abriga os supercomputadores nacionais da Finlândia Mahti e Puhti, que devem ser substituídos pelos Roihu de 49 petaflops.

O parque mais amplo também abriga um data center Borealis, mais sistemas governamentais e, em breve, um sistema da trader britânica de alta frequência XTX Markets. Em uma boa peculiaridade da história, o próprio Google comprou em novembro um terreno em Kajaani (embora não na fábrica) para um data center em potencial - citando a crescente comunidade de data centers como sua justificativa.

O Lumi surgiu em 2021 como um projeto conjunto com a UE. "Estávamos realizando negociações de aquisição durante a Covid-19 e, em seguida, iniciamos a instalação em junho de 2021, começando com os processadores pesados e os sistemas de armazenamento", lembra o Dr. Manninen.

"Em seguida, começamos a segunda fase, a implementação da GPU. Mas fomos atingidos por outro evento de cisne negro - uma escassez global de eletrônicos. De repente, era impossível obter alguns componentes pequenos - controladores de energia, FPGAs, etc. Fomos retidos por fichas de 1 dólar.

Ainda assim, a equipe colocou o sistema totalmente online, com sua partição GPU, no verão de 2022, pouco antes do lançamento do ChatGPT e mudou tudo.

"Quando o Lumi foi projetado, o tempo da IA generativa não era previsível, mas sabíamos que o aprendizado profundo seria enorme", disse o Dr. Aleksi Kallio, gerente do programa de desenvolvimento de IA da CSC, à DCD.

Um colega dele trabalhou no ministério da educação ao qual o CSC se reporta quando o chatbot estreou. "Eles têm essas reuniões regulares e, na reunião anterior, decidiram que não estamos mais tão interessados nesse tópico de IA, porque talvez ele esteja desaparecendo", disse ele. "E então o ChatGPT saiu: na próxima reunião, decidimos que estávamos mais uma vez muito interessados no assunto".

O Lumi tem sido usado pela Universidade de Turku para desenvolver modelos de linguagem grande (LLMs) específicos para o finlandês e o idioma nórdico. Até agora, essas linguagens foram ignoradas pelos desenvolvedores de sistemas de IA com preocupações comerciais. Além de seu impacto em ajudar a manter uma linguagem para o próximo passo potencial da computação, também beneficia a IA de forma mais ampla, diz Katja Mankinen.

"Não há muito finlandês na Internet para usar", diz Mankinen, cientista de dados sênior do CSC. "Os dados são bastante limitados, mas eles combinaram recursos finlandeses com recursos maiores, como o inglês, e desenvolveram alguns truques muito bons sobre como fazer modelos finlandeses de alto desempenho sem comprometer sua qualidade. Portanto, essa é uma das coisas que acreditamos que estabelecerá a base para o futuro em torno da escrita de aplicativos de IA".

O Dr. Kallio acrescenta: "Os players comerciais não fazem as coisas abertamente. Eles não dizem que tipo de dados são fornecidos pelos modelos. Eles não falam sobre a arquitetura do modelo. Há tantas coisas escondidas, mas esses modelos são públicos para todos usarem e aprenderem, para outros pesquisadores construírem em cima dos modelos”.

É apenas um projeto no supercomputador, diz Mankinen: "No Lumi, você pode construir tudo, desde as menores escalas - desde simular a matéria das partículas, como elas interagem, quais são as propriedades, até o que acontece no universo na escala galáctica. Depois, também temos projetos que ajudam mais como questões sociais, como curar o câncer, como criar medicina personalizada, como ajudar pessoas com problemas de saúde, etc”.

O Lumi opera como outros supercomputadores sob o guarda-chuva da Empresa Comum Europeia de Computação de Alto Desempenho (EuroHPC JU) – os Estados membros e financiadores de projetos obtêm uma parte do sistema, enquanto o país anfitrião que pagou mais pode usar mais.

A Finlândia oferece uma parte de seu componente para empresas - mas o acesso só é gratuito se elas abrirem o código dos resultados, caso contrário, terão que pagar. Espera-se ainda que seu trabalho seja amplamente de interesse público. As cargas de trabalho militares são proibidas.

Outra carga de trabalho é o Destination Earth (DE), um ambicioso projeto da UE para simular todo o planeta, coberto exclusivamente pela DCD em 2020 (ver edição #37).

"Esse é um projeto da Comissão Europeia para desenvolver um sistema de informação para apoiar a tomada de decisões, para que eles possam fazer políticas com base em fatos científicos", diz a Doutora Mankinen. "Podemos fazer algo sobre o clima global, como podemos nos adaptar, o que acontecerá com alimentos, incêndios florestais, precipitação, etc? Essas são questões sociais".

Ao contrário de qualquer outro projeto, ele possui uma seção dedicada no data center para armazenamento de dados, consistindo em cerca de 100 PB de capacidade. Atualmente, ele não possui computação dedicada, competindo por tempo junto com todos os outros, mas isso pode mudar no futuro à medida que o projeto cresce em escopo.

Não há limite superior para as demandas de simular a Terra, observa a D.ra Mankinen, quando perguntado sobre o tamanho de um supercomputador da Destination Earth.

A EaD também representa um potencial ponto de inflexão no desenvolvimento de supercomputadores.

Historicamente, a computação de alto desempenho se concentrou em simulações de ponto flutuante 64 de alta precisão, mas a IA pressionou por pontos flutuantes cada vez mais baixos, potencialmente chegando ao FP4. "Os fornecedores de GPU parecem se concentrar muito em fracassos de IA", diz Mankinen.

"As cargas de trabalho tradicionais do FP64 não são necessariamente mais rápidas na próxima geração de GPU do que atualmente, talvez sejam ainda mais lentas”.

"Você provavelmente verá bifurcação em supercomputadores, em que alguns serão mais parecidos com sistemas de IA e outros mais com sistemas HPC".

O Dr. Kallio espera que isso não aconteça: "Nós realmente não sabemos o futuro da IA e a maneira mais segura de construir para ela é ter alguma capacidade de uso geral bem conectada. Acho e espero que não siga caminhos diferentes, mas podemos permanecer em um único caminho com uma tecnologia”.

"Claro, isso pode significar que teremos alguns aceleradores e hardware de propósito especial conectados por meio do cluster de GPU de uso geral".

Olhando para projetos como DE, ele diz que "o que vemos como extremamente importante no futuro é a fusão de métodos de IA e HPC na ciência. Normalmente, você começa simulando através do lado HPC, então você tem um modelo de IA construído sobre esses dados".

Tudo isso traz os trabalhadores da Lumi - que planejam implementar um sistema maior de IA da UE nos próximos anos - de volta ao seu argumento central: o supercomputador tem sido uma bênção para a sociedade.

Na escala local, o sistema também está oferecendo benefícios, embora não em empregos - "uma falácia é que você precisa colocar seu data center onde sua equipe está", diz Kallio. "Nossa equipe não está aqui; eles estão em Helsinque. Somos uma equipe mínima em Kajaani".

O Lumi produz água de calor residual a 40 ° C, que o CSC aumenta para 80 ° C com bombas de calor para enviar para a rede de aquecimento urbano existente. O sistema de aquecimento "queima praticamente tudo o que pode queimar, incluindo comida e óleo", explica a D.ra Mankinen. "É por isso que chamamos o Lumi de carbono negativo, porque eles podem reduzir a quantidade que estão queimando”.

"Durante o verão, basicamente todas as necessidades de aquecimento de Kajaani vêm de nós, mas no inverno eles ainda precisam queimar".

A CSC também está usando a fonte de alimentação ininterrupta (UPS) do supercomputador para executar um esquema piloto para regulação de frequência da rede, mas a D.ra Mankinen admite que eles só implementaram sistemas UPS para atender aos requisitos de aquisição.

Quando era uma fábrica de papel, o local sofreu apenas uma única queda de energia de dois minutos durante seus 38 anos de operações, graças à energia hidrelétrica estável e próxima.

Um futuro supercomputador exascala pode cortar totalmente o UPS, ele postula, enquanto apresenta uma visão para uma série de sistemas cada vez maiores em Kajaani.

"A supercomputação tem uma grande pegada", diz Mankinen, tanto em energia quanto em custo. "Podemos e devemos usar supercomputadores para melhorar a qualidade do nosso futuro".