A versão mais recente do Sora da OpenAI – um modelo de difusão de texto para vídeo – transforma os usuários em assistentes que podem criar mundos visuais mágicos, vídeos de 20 segundos em 1080p, solicitados por meio de ferramentas de criação elegantes.

O lançamento é apenas o exemplo mais recente de modelos de IA generativa aumentando a aposta em termos de requisitos de data center de IA, tanto em termos de desempenho quanto de demandas de recursos.

A previsão dos EUA para o consumo de energia em IA é alarmante. As consultas de IA de hoje exigem cerca de 10 vezes a eletricidade das consultas tradicionais do Google - uma solicitação do ChatGPT é executada em 10 vezes mais watts-hora em comparação com uma solicitação do Google. Uma CPU típica em um data center usa aproximadamente 300 watts por hora (Electric Power Research Institute), enquanto uma GPU Nvidia H100 usa até 700 watts por hora, um uso semelhante a uma família média nos EUA por mês.

Os avanços nos recursos do modelo de IA e o maior uso de parâmetros continuam a aumentar o consumo de energia. Grande parte dessa demanda está centralizada em data centers, à medida que empresas como Amazon, Microsoft, Google e Meta constroem instalações de hiperescala cada vez mais maciças em todo o país.

O consumo de eletricidade dos data centers nos EUA deve crescer 125% até 2030, usando nove por cento de toda a eletricidade nacional. Em 2018, nossos computadores consumiam apenas 1 a 2% do fornecimento global de eletricidade – isso aumentou para quatro a seis por cento até 2020 e, até 2030, deve atingir entre 8 a 21%. A potência do data center e as emissões de carbono dobraram entre 2017 e 2020. Até 2028, estima-se que a IA represente cerca de 19% da demanda de energia do data center.

Mesmo antes de o ChatGPT explodir em cena, os data centers enfrentavam um crescimento significativo nas demandas de desempenho de hardware para processamento, gerenciamento e armazenamento de dados. Hoje, com a IA estabelecida como a próxima grande mudança tecnológica do mundo, uma vez que afetará todas as nossas vidas, o aumento do uso torna a urgência maior à medida que o consumo de energia da infraestrutura subjacente aumenta a taxas agressivas e insustentáveis.

Dada a proliferação vertiginosa de aplicativos de IA, como o ecossistema de empreendimentos de tecnologia profunda pretende enfrentar os desafios crescentes?

A realidade é que habilitar a IA em escala – e em uma base sustentável – exigirá a maior parte do hardware e software para que os dados sejam redesenhados ou substituídos, o que significará repensar os data centers de IA da próxima geração desde o início.

Um dos fatores mais significativos para isso é devido à evolução das cargas de trabalho de computação de IA. Para aqueles que talvez não estejam familiarizados, a computação para IA tem três elementos principais: pré-processamento, treinamento e inferência.

O pré-processamento de dados envolve a organização de um grande conjunto de dados antes que você possa fazer qualquer coisa com ele, o que pode envolver rotular, limpar ou estruturar os dados. Depois que os dados são processados, o treinamento da IA pode começar, semelhante a ensiná-la a interpretar os dados. A inferência se torna a tarefa principal depois que o modelo é treinado, durante o qual o modelo de IA é executado em resposta às consultas do usuário.

Em 2023, o treinamento de IA representou a maior parte da computação de IA em mais de 2:1. Mas, à medida que os modelos de IA amadurecem e se movem para uma ampla implantação, a inferência ultrapassará rapidamente a IA na maioria dos cálculos de IA de data center e estima-se que ultrapasse o treinamento de IA em 6:1 até 2030.

Muitos dos data centers atuais foram construídos e otimizados para cargas de trabalho tradicionais, como nuvem, nuvem híbrida e cargas de trabalho de banco de dados SaaS, que foram abordadas usando servidores dedicados. O treinamento de IA mapeia um pouco bem essas implementações, que normalmente envolvem alocações de servidores dedicados. Mas, à medida que mudamos para as cargas de trabalho de IA de amanhã, devemos repensar uma arquitetura para inferência de nuvem que possa oferecer muito menos energia e latência, incluindo maior implementação de Edge que atenda aos requisitos do usuário.

Isso exigirá uma reformulação completa da arquitetura do data center para oferecer suporte à inferência eficiente baseada em nuvem, exigindo uma grande evolução em áreas como os principais chips ASIC, memória de alta largura de banda, interconexão e ecossistema de software de IA. Veremos avanços rápidos em novas arquiteturas de chips, redes avançadas, materiais, embalagens e muito mais.

Com toda a inovação necessária, de onde ela virá e os grandes players de infraestrutura serão interrompidos?

Embora as grandes empresas de tecnologia certamente tenham o benefício da vantagem de incumbência e financiamento, o ecossistema de startups desempenhará um papel absolutamente crucial na condução da inovação necessária para permitir o futuro da IA. Grandes empresas públicas de tecnologia geralmente têm dificuldade em inovar na mesma velocidade que startups menores e mais ágeis. Respondendo aos acionistas, eles geralmente procuram evitar interromper sua própria franquia e contam com a inovação interna, em vez do desenvolvimento baseado nos primeiros princípios e na vontade de otimizar na camada fundamental. Se eles se apoiam em parcerias ou aquisições de empresas em estágio inicial para internalizar a inovação, é quando as equipes são capazes de contornar o viés do NIH.

No mundo das startups, no entanto, estamos vendo a inovação necessária começando no nível do silício, sendo financiada e construída. Na interconexão de data center, por exemplo, a Eliyan criou uma arquitetura otimizada que densifica a rede, tornando a transmissão de bits entre os nós de computação e memória mais simplificada, com menos consumo de energia e menos dispendiosa. A tecnologia da Eliyan é implementada por meio de chips autônomos e blocos IP projetados em silício parceiro para rearquitetar fundamentalmente a rede no nível dos sistemas. Rompendo o gargalo da parede de memória de E/S, a abordagem de Eliyan oferece uma melhoria geral de 10 vezes no desempenho da IA.

No lado da computação, a Recogni desenvolveu um sistema de IA generativa especializado criado especificamente para inferência de data center. A arquitetura do conjunto de instruções da empresa utiliza uma abordagem matemática logarítmica de ponta que permite que seu sistema transforme cálculos de matrizes de multiplicação em adições, reduzindo a complexidade computacional e tornando seus chips muito menores, mais rápidos e mais eficientes. Prevê-se que essa abordagem seja disruptiva em comparação com a inferência baseada em plataformas de GPU Nvidia.

Esses são apenas dois exemplos do número crescente de empresas emergentes neste espaço, à medida que o financiamento continua a chegar de investidores, atingindo mais de 55 bilhões de dólares (326 bilhões de reais) até o terceiro trimestre de 2024. É claro que o sucesso nunca é garantido no mundo das startups, e certamente não em um setor que passa por uma enxurrada de concorrência e expansão.

O que sabemos é que não podemos nos dar ao luxo de não investir no tipo de inovação necessária para criar um futuro sustentável para a IA. O futuro da indústria e da nossa Terra dependem disso.