Deixe Soni Jiandani falar, e ela lhe contará histórias dos primeiros dias da Internet.

"Eu testemunhei a revolução da Internet, demorou cerca de uma década e meia e foi inacreditável", lembra ela. Agora, à medida que ela constrói o grupo de infraestrutura de rede da AMD e aumenta a concorrência contra a Nvidia, ela vê ecos desse momento transformador.

"Eu não poderia estar mais animada", diz ela. "Quando você envelhece, é mais difícil ficar animado, mas este é um momento emocionante para nossa indústria".

Juntando-se à AMD

Depois de quase duas décadas na Cisco, entre passagens por várias empresas de rede, Jiandani cofundou a Pensando Systems em 2017.

A empresa desenvolve unidades de processamento de dados (DPUs), também conhecidas como SmartNICs, que afastam a computação de rede da CPU e da GPU, liberando-as para se concentrarem em suas cargas de trabalho reais.

Após a aquisição da rival de rede maior Mellanox pela Nvidia, a AMD adquiriu a Pensando em 2022 por 1,9 bilhão de dólares (10,7 bilhões de reais), um ano antes do momento de o ChatGPT provar a necessidade de sistemas fortemente conectados.

"Tem sido uma experiência bastante turbulenta para nós", diz Jiandani. "No geral, a jornada tem sido boa - tivemos clientes que nos olharam como uma startup e disseram: 'Não tenho certeza se quero fazer negócios com uma startup, porque não sei em quais mãos você estará'. Então, por fazer parte da família AMD, eles sabem que a AMD leva a sério a construção de sistemas de IA".

'Sistemas' é uma palavra que Jiandani repete ao longo de nossa conversa. "O que torna essa equipe muito única é que somos pessoas no nível do sistema", diz ela. "Não pensamos apenas em software, dispositivo ou componente, pensamos em sistemas".

Ela continua: "Quando você está construindo um sistema distribuído, que é o que é uma rede, você não pode pensar nisso isoladamente. Você tem que pensar sobre 'como eles vão falar uns com os outros? Como eles interoperarão uns com os outros? O que eu faço no momento da falha? Como me recupero de uma falha? Como faço para torná-lo reparável? Como faço para dar a eles observabilidade? Como faço para torná-lo um ciclo de feedback para que eu possa adicionar mais inteligência?' É uma habilidade única que temos em nossa organização. A AMD tem sido maravilhosa ao reunir sua experiência em CPU e GPU com nossa experiência em DPU".

Pensando e os esforços de rede da AMD

Pensando agora é a chave para os esforços de rede da AMD, mas continua sendo uma equipe pequena. "Acho muito importante que sejamos uma equipe menor, para que possamos nos mudar", diz Jiandani. "Somos mais ágeis. Não somos milhares de pessoas tentando se integrar a dezenas de milhares de pessoas. Somos centenas de pessoas que estão sendo trazidas e, portanto, temos a capacidade de ser mais ágeis”.

"Está acontecendo em uma velocidade tão alta que preciso ser ágil".

É claro que, enquanto falamos, a AMD está se preparando para integrar um negócio significativamente maior. A empresa anunciou em agosto passado planos para adquirir a ZT Systems por 4,9 bilhões de dólares (27,8 bilhões de reais), com o negócio sendo fechado em março.

A fabricante de servidores de hiperescala tem vários milhares de funcionários, mas a AMD disse que vai desmembrar e vender os ativos de fabricação da ZT, concentrando-se nos recursos de design de sistemas.

"A ZT Systems vai nos ajudar no nível da empresa a pensar em implantar o sistema em um nível de rack", diz Jiandani.

"Então essa é a equipe que reúne tudo, traz nossos sistemas de GPU, nossos ativos de rede, nossos ativos de CPU, todos os sistemas de refrigeração líquida e resfriamento a ar, em uma arquitetura de design de referência. Todos eles fazem parte do grupo de data center".

Como divisão, o negócio de data center da AMD tem sido uma raridade. A empresa registrou um crescimento recorde de receita, quase dobrando apenas em 2024, mas ainda é vista como uma corrida quando comparada aos ganhos da rival Nvidia.

Mas, assim como espera corroer a liderança da GPU da Nvidia, pressionando por uma abordagem mais aberta, a AMD espera pressionar por uma abordagem de sistemas mais abertos para conquistar clientes. "Só para tocar no que é diferente do Mellanox", acrescenta o colega Eddie Tan, "quando os mercados dizem 'preciso de uma escolha', não preciso dizer: 'este é o rack, é pegar ou largar'. Não vou dizer 'você precisa comprar todos os componentes de mim'".

A Nvidia favoreceu principalmente o InfiniBand, o padrão de rede de computação de alto desempenho do qual a Mellanox é a única fornecedora restante, enquanto a AMD apostou tudo na ethernet.

"A Ethernet provou ser uma solução escalável", diz Jiandani. "Alguns dos clientes estão abandonando o proprietário apenas porque não é escalável. A Ethernet, dado o consumo absoluto, tem um custo completamente diferente em comparação com o InfiniBand. Então, no mínimo, sim, você obtém um custo-benefício".

Produtos de IA pós-generativos

A empresa é um dos membros mais vocais do Ultra Ethernet Consortium (UEC). E, embora a UEC tenha atrasado o lançamento da versão 1.0 da especificação, a AMD já revelou a placa de rede Pollara 400 AI compatível com UEC. Deve-se notar que a Nvidia também oferece produtos ethernet e ingressou silenciosamente na UEC no ano passado. Com a InfiniBand dando-lhe mais controle e margens mais altas, ela não anunciou publicamente a mudança.

"Se você é uma empresa ou um fornecedor de nuvem de nível dois, deseja uma experiência pronta para uso ao criar redes escaláveis", diz Jiandani. "Portanto, com o Pollara 400 sendo compatível com UEC desde o primeiro dia, você não precisa se preocupar se seus desenvolvedores precisam criar uma implementação escalável de uma rede de back-end. Considerando que, se você é um cliente de hiperescala de nível um, você tem seu próprio transporte exclusivo e deseja que o sistema de IA se conecte a ele e ao seu fornecedor preferido de switches ethernet. Podemos atender a ambos".

O Pollara 400 para back-end e o Salina 400 DPU para rede de front-end são os primeiros produtos de IA verdadeiramente pós-generativos da Pensando. "Estamos enviando [antecessor de Salina] Elba desde 2022; está em produção no Oracle Cloud, Microsoft Azure e IBM Cloud", diz Jiandani.

"A maior parte dessas implementações foi lançada em escala no último ano a 18 meses e, em alguns casos, esperamos que a DPU esteja em produção com implementação contínua até o ano civil de 2027, ou seja, cinco anos. Em outros casos, o cliente fará a transição para Salina nos próximos 12 meses, portanto, a transição pode ser de três anos como vida útil”.

No caso da Microsoft, por quanto tempo ela usará Elba e Salina não está claro. A empresa há muito desenvolve seu próprio sistema FPGA: "Não é segredo que a Microsoft tem um FPGA SmartNIC interno", diz Tan. O problema com o FPGA é que ele não é tão flexível ou rápido e não pode ajudá-lo a oferecer suporte a serviços simultâneos em escala. É por isso que, apesar de já terem o FPGA SmartNIC, eles ainda nos procuram para enfrentar alguns desafios que estão enfrentando".

No entanto, logo após nossa conversa, a Microsoft anunciou que estava implementando sua própria DPU interna, depois de adquirir a fabricante de DPU Fungible há cerca de dois anos. É muito cedo para dizer se ele passará totalmente para o silício personalizado ou se o usará para manter a pressão sobre os preços, já que as empresas de nuvem usaram seus próprios chips de IA para extrair concessões dos fabricantes de GPU.

O que está claro, no entanto, é que a Microsoft e outros rivais de nuvem e IA estão prontos para implementar clusters em uma escala anteriormente insondável. "Sabemos que o cluster de números de 100.000 GPUs está muito bem documentado", diz Jiandani. "E quando estamos conversando com alguns dos maiores hiperescalas, estamos ouvindo números em que eles querem chegar a um milhão de GPUs, com base no crescimento dos grandes modelos de linguagem".

Tan acrescenta: "E muito em breve você descobrirá que o cluster vai gastar até mesmo no campus do data center. Como você apóia isso? Rede ethernet onipresente".

Alcançar um crescimento tão rápido, argumenta Jiandani, requer pensar nisso em um nível de ecossistema, não apenas com a visão de uma empresa. "Acho que com os modelos ficando cada vez maiores, nossa capacidade de construir um sistema mais equilibrado é muito importante", argumenta ela. "Nenhuma empresa será capaz de fazer isso sozinha. E é por isso que as parcerias, o ecossistema e as estreitas relações de trabalho que temos coletivamente como indústria são fundamentais".