Durante décadas, a maior parte da infraestrutura dos data centers evoluiu como um conjunto de domínios tecnológicos em grande parte independentes. O desempenho dos processadores melhorou graças a inovações arquitetônicas e de processo; a memória e as redes avançaram seguindo seus próprios planos de desenvolvimento; e a infraestrutura das instalações expandiu-se de forma previsível para dar suporte a sucessivas gerações de hardware.

A Lei de Moore, as interfaces padronizadas e o crescimento tecnológico constante permitiram que os operadores atualizassem servidores, redes e instalações em prazos distintos, com confiança. A IA alterou fundamentalmente esse modelo. As plataformas aceleradoras atuais obtêm seu desempenho não apenas a partir de motores de computação, mas da interação entre subsistemas de memória, estruturas de rede, tecnologias avançadas de encapsulamento, sistemas de fornecimento de energia e infraestrutura de refrigeração.

À medida que as implementações de IA ganham escala, a separação tradicional entre estes domínios diminui. O que era historicamente visto como um conjunto de camadas de infraestrutura independentes funciona agora mais como um sistema fortemente interligado, no qual as decisões tomadas num domínio influenciam os resultados nos demais.

Ao contrário das cargas de trabalho empresariais tradicionais, em que as melhorias de desempenho frequentemente podiam ser alcançadas dentro de um único subsistema, o treino e a inferência de IA em grande escala são limitados pela eficiência com que os dados circulam por toda a plataforma. Cada iteração de treino requer o movimento e a sincronização contínuos de parâmetros de modelo, ativações e gradientes através de milhares de aceleradores, tornando a capacidade de memória, a largura de banda de memória, a latência de interligação e a sobrecarga de comunicação tão críticas para o desempenho quanto os próprios motores de computação.

Por conseguinte, os aceleradores inativos representam capital imobilizado, energia desperdiçada e rendimentos mais baixos em alguns dos investimentos em infraestruturas mais dispendiosos do data center.

Dados provenientes de implementações recentes de infraestruturas de IA

As recentes implementações de infraestruturas de IA ilustram claramente essas dependências. As plataformas aceleradoras modernas são cada vez mais concebidas em torno da integração de sistemas de computação, memória, redes, fornecimento de energia e refrigeração, em vez de se centrarem nos avanços de um único componente.

A adoção de memória de elevada largura de banda destacou a importância crescente da largura de banda da memória e do encapsulamento avançado, enquanto a disponibilidade de energia e a capacidade de refrigeração revelaram-se as principais restrições à implementação de clusters de IA em grande escala. Em conjunto, estes desenvolvimentos demonstram que o desempenho do sistema depende cada vez mais do co-design, em vez da otimização independente.

A evidência mais clara dessa mudança é tanto organizacional quanto técnica. A integração da Nvidia de GPUs, NVLink, NVSwitch, redes, CUDA e sistemas DGX, o co-design das TPUs do Google com a sua pilha de software e infraestrutura de data centers, e o surgimento de plataformas verticalmente integradas, como o AWS Trainium e o Maia da Microsoft, refletem todos a mesma tendência subjacente.

A vantagem competitiva advém agora da minimização das ineficiências em todo o sistema de computação e da otimização das interações entre hardware, software, redes e infraestrutura.

As decisões arquitetônicas também já não podem ser avaliadas isoladamente. Por exemplo, adicionar mais capacidade de computação por meio de aceleradores traz pouco valor, a menos que a largura de banda da memória acompanhe essa expansão.

Satisfazer essas exigências frequentemente requer HBM adicional, embalagem avançada e maior fornecimento de energia, o que, por sua vez, aumenta a densidade térmica e impulsiona a adoção de refrigeração líquida e de arquiteturas de rack de alta densidade. Estes sistemas mais densos também impõem exigências maiores às redes, requerendo estruturas com maior largura de banda e menor latência para manter milhares de aceleradores sincronizados de forma eficiente.

Além disso, as restrições de alimentação e refrigeração das instalações podem limitar o desempenho alcançável, independentemente da capacidade do silício. Na infraestrutura de IA, cada tentativa de eliminar um estrangulamento afeta vários outros, tornando o desempenho global uma função da eficácia com que a plataforma mais ampla é otimizada como um sistema único.

Implicações para os planos de desenvolvimento de infraestruturas e tecnologias

Os planos de desenvolvimento dos aceleradores modernos agora incorporam pressupostos sobre a infraestrutura em que operam. A memória, o encapsulamento, as redes, o fornecimento de energia e a gestão térmica já não são detalhes de implementação, mas sim restrições arquitetónicas.

Consequentemente, a seleção de um acelerador tornou-se indissociável da avaliação da capacidade da infraestrutura circundante de o suportar. Um acelerador projetado para uma largura de banda de memória de vários terabytes por segundo e um consumo de energia na escala de quilowatts não consegue atingir o desempenho pretendido em instalações construídas para gerações anteriores de computação.

Para os operadores, a seleção de aceleradores estende-se agora para além do desempenho do silício, passando a incluir a alimentação, o resfriamento e a conectividade necessários para o suportar.

As implicações vão além da seleção de tecnologia, estendendo-se ao próprio planejamento da infraestrutura. Para os fornecedores de colocation, os planos de desenvolvimento das instalações poderão ser cada vez mais orientados pelas implementações de aceleradores dos clientes, em vez dos ciclos tradicionais de renovação, o que exigirá investimentos antecipados em distribuição de energia, arrefecimento líquido e arquiteturas de racks de alta densidade.

Para os hiperescalas, a tendência reforça a necessidade de uma coordenação mais estreita entre o silício, as redes, o software e o projeto das instalações. Em ambos os casos, as decisões relativas ao silício, às redes, ao software e à engenharia das instalações estão se tornando mais interdependentes, com a estratégia de infraestrutura e a de computação evoluindo em conjunto.

Conclusão

A pilha computacional de IA é agora definida pela eficácia com que seus componentes funcionam em conjunto. À medida que as tecnologias de suporte se tornam mais estreitamente integradas às arquiteturas de aceleradores, as fronteiras tradicionais entre os domínios da infraestrutura continuam a se diluir.

Para os operadores, a estratégia de infraestrutura e a estratégia de computação estão a tornar-se inseparáveis, o que exige que as decisões sejam avaliadas no contexto do sistema mais amplo. À medida que as implementações de IA continuam a expandir-se, a vantagem competitiva dependerá cada vez mais, não do desempenho de qualquer componente individual, mas da eficácia com que toda a plataforma é coprojetada e operada como um sistema unificado.

Esse artigo foi escrito em colaboração com Vignesh Sathiyamoorthy, especialista em tecnologia da organização SCHIE (Silicon, Compute Hardware, Infrastructure Engineering) da Microsoft.

No artigo, a pilha de computação de IA refere-se ao conjunto de tecnologias necessárias para executar cargas de trabalho de treino e inferência de IA em grande escala, incluindo aceleradores, memória, redes, fornecimento de energia, sistemas de refrigeração e a infraestrutura de data centers de suporte que lhes permite funcionar como uma plataforma unificada.