Por qualquer medida - quantidade, metragem quadrada, porcentagem do setor - a Amazon Web Services (AWS) tem uma das maiores pegadas de datacenter do mundo.

No total, a Nuvem AWS abrange 114 zonas de disponibilidade em 36 regiões, e cada zona de disponibilidade pode ser atendida por um ou vários datacenters. Esse número está em constante crescimento.

Cada data center apresenta inúmeras conexões internas e externas, e com isso vem um sistema de rede extremamente complexo, projetado e desenvolvido principalmente pela AWS.

"Começamos a desenvolver nosso próprio hardware há cerca de 15 anos", disse Matt Rehder, vice-presidente de redes principais da AWS, à DCD.

A razão por trás dessa mudança, que fica clara à medida que Rehder detalha a rede nos datacenters da AWS, é a necessidade de simplicidade e escala.

"Normalmente, as empresas usam hardware ligeiramente diferente em cada uma dessas funções - conectando os servidores ou conectando diferentes data centers", diz Rehder. "A AWS é um pouco diferente nesse sentido porque, há muitos anos, decidimos ter basicamente a mesma coisa em todos os lugares para tornar nossas vidas mais simples".

Claro, "mais simples" é um termo relativo. Conectar enormes data centers com centenas ou milhares de servidores nunca pode ser considerado "simples".

Mas, em uma tentativa de uma vida mais fácil, a AWS desenvolveu o que chama de "Brick" - um rack de switches de rede da AWS.

"É um bloco de construção e podemos usar Bricks onde quer que precisemos - e então tornamos alguns deles funcionalmente exclusivos com algumas alterações de software", explica Rehder.

Cada datacenter da AWS tem muitos Bricks, que podem ser "conectar vários servidores à rede, conectar outros datacenters da AWS na região local, conectar-se a redes de terceiros ou até mesmo conectar regiões da AWS em longas distâncias".

Softwares ligeiramente diferentes são carregados em um Brick dependendo da tarefa, mas "sob as cobertas, eles parecem quase idênticos", diz Rehder. Isso se aplica mesmo ao analisar as zonas locais da AWS ou, até certo ponto, o Outposts.

As zonas locais são uma das ofertas "Edge" da AWS e veem a nuvem AWS mais próxima dos usuários finais em um data center onde a empresa não possui uma região de nuvem.

Em alguns casos, são data centers de terceiros, mas, de acordo com Rehder, são cada vez mais instalações de propriedade da Amazon que não fazem parte de uma região geográfica de nuvem.

"Se você entrar em uma instalação da Local Zones, ela se parece muito com um de nossos outros data centers", diz ele. "Existem algumas pequenas variações, por exemplo, adicionamos algumas camadas extras de segurança e resiliência porque está mais próximo da própria região".

Os Outposts, por outro lado, são a oferta local da AWS na qual o hardware da AWS vai para o datacenter de um cliente.

Embora Rehder diga que o Outposts é "diferente" por natureza, ele acrescenta: "Tentamos torná-lo o mais puro possível da experiência da AWS, para que sejam os mesmos servidores que usamos e os mesmos conceitos de rede eficazes, mas muitas vezes há algumas camadas extras para integração na rede do cliente no prédio."

Tijolo por tijolo

Os Bricks da AWS são de design próprio e, dentro do próprio Brick, a empresa também fornece hardware de rede e switches.

O hardware, observa Rehder, tem um único ASIC de comutação dentro dele - uma estratégia que difere da maioria dos fornecedores, que terão vários chips para essa tarefa.

"Isso é muito bom para certos lugares, mas como você tem muitos desses chips dentro do sistema que estão conectados, há muita complexidade interna no switch, no roteador, e isso é difícil de ver ou gerenciar", argumenta Rehder. "É muito mais fácil se você apenas dividir nessa unidade primitiva, como a unidade atômica, de apenas me dar um chip em um dispositivo".

Na verdade, a AWS não fabrica o ASIC - nem especifica o que a empresa faz - que entra nos switches de rede, mas estabelece as especificações para os componentes e o comportamento do switch, além de procurar iterativamente melhorar seu design de software e hardware.

"Ainda temos dispositivos de fornecedores e, em nossa experiência, nossos switches são muito melhores que os deles".

Outra área de hardware em que a AWS "se aprofundou" são os transceptores ópticos, que iluminam o laser na fibra dos cabos.

Rehder explica que os switches de rede da AWS podem ter 32 ou 64 portas, criando uma "complexidade fascinante".

"Nos dias de 10G ou 25G, os transceptores ópticos eram geralmente confiáveis, mas fica mais complicado aumentar a velocidade através da fibra e, como chegamos a dizer 400G ou 800G, a confiabilidade diminuiu", diz ele.

"Começamos a fazer investimentos materiais e nos aprofundamos na especificação de como esses projetos de módulos ópticos funcionam e tentamos entender por que os links estavam falhando.

"Isso levou a muitos investimentos em nossa fábrica de fibra e em como redesenhamos os módulos para torná-los mais simples e confiáveis."

O maior investimento, diz Rehder, foi no software que roda nesses módulos.

"Dois ou três anos atrás, decidimos começar a investir nisso e agora possuímos todo o software que roda nesses modelos e os corrigimos ativamente o tempo todo", explica ele. "Agora, nossa geração 400G é realmente mais confiável do que nossa 100G. Esta é uma grande vantagem para nós, especialmente com o GenAI, onde há mais links e as cargas de trabalho em geral são apenas mais sensíveis a falhas."

Um monte de fios

Conectar todo esse hardware é, para dizer educadamente, um monte de cabeamento.

Os switches de rede são empilhados e conectados no rack e, em seguida, conectados aos racks de servidores da AWS por meio de cabos de fibra óptica. De acordo com Rehder, atualmente os cabos dentro dos racks usam cobre (ele observa que o cobre é "muito mais sofisticado" do que costumava ser), mas isso não é possível fora do rack devido às limitações de distância.

Quando perguntado quanto cabeamento a AWS tem, Rehder ri. "Temos muitos, muitos, muitos quilômetros de cabos. Não sei o número exato, mas é definitivamente uma das partes mais difíceis da rede de data center”.

"O maior data center de IA que temos tem mais de 100.000 links ou conexões de fibra em um prédio".

Rehder estima que, dada a "enorme densidade de conexões de fibra em todos os datacenters da AWS", um único datacenter pode ter centenas ou milhares de quilômetros de cabos de fibra dentro dele, e todos eles precisam ser organizados com muito cuidado. Isso, aparentemente, não é tão simples quanto apenas um método de coordenação de cores”.

"No último ano do meu trabalho, provavelmente passei mais tempo nos cabos de fibra - o prédio, como os projetamos e instalamos - do que em qualquer outra parte da pilha de tecnologia", enfatiza Rehder.

Ao estabelecer um novo data center, Rehder diz que a empresa quer aumentar a capacidade o mais rápido possível, e isso significa trazer todos os racks e cabos de rede e conectá-los. "Esse é um trabalho muito real, trabalho físico, e o grande volume de cabos é muito alto. Quanto mais conexões você precisar instalar, maior será o tempo de espera".

Ele também reitera que não é como conectar uma tomada elétrica - ao trabalhar com fibra, qualquer perturbação pode causar uma degradação do sinal.

Para ajudar com isso, a AWS usa "cabeamento estruturado", que Rehder ilustra com uma analogia com a estrada.

"Você pode rotear ou agrupar muitos dos pequenos pares ou fios de vidro em estruturas físicas criativas. Você basicamente tem uma rodovia de cabos, e eles podem ser densos - com centenas ou milhares de fibras agrupadas, que vão entre salas ou fileiras e, em seguida, se dividem em saídas menores e rampas de saída em 'ruas' menores que fluem para os racks.

Em seguida, usando conectores de densidade mais alta, a AWS pode reduzir o número de coisas que precisam ser instaladas ou tocadas ao longo do tempo.

Isso economiza tempo na implantação real, mas adiciona muitas complexidades durante o estágio de planejamento.

Aprendizado de máquina

A gigante da nuvem aplica uma estratégia que chama de "excesso de assinatura" à sua rede em data centers.

Rehder explica isso como tendo "mais capacidade voltada para os servidores do que você pode ter para eles se comunicarem com a Internet ou entre data centers". A empresa pode equilibrar isso "dinamicamente" ao implantar a capacidade, para que possa "aumentar ou diminuir a discagem, dependendo das cargas de trabalho dos servidores que temos", acrescenta.

Isso, no entanto, não se aplica de forma tão eficaz com IA ou hardware de aprendizado de máquina. Embora o modelo de excesso de assinaturas permita que a AWS "disque" mais capacidade, Rehder observa que um servidor de aprendizado de máquina ou IA generativa geralmente precisará de "duas a três vezes a largura de banda do que outros servidores teriam".

"Muitas das redes de ML não têm excesso de assinaturas, o que significa que você cria a capacidade para que todos os servidores possam realmente se comunicar uns com os outros ao mesmo tempo, mas isso é algo que nossa arquitetura fundamental e blocos de construção nos permitem fazer com relativa facilidade", diz ele. "É o mesmo hardware, os mesmos switches, o mesmo conceito, o mesmo sistema operacional."

Em todo o setor, o hardware de IA está sendo atualizado rapidamente, com a Nvidia mudando para um roteiro com atualizações anuais para suas GPUs. Este não é o caso do networking, com Rehder observando que novas gerações surgem a cada três ou quatro anos.

"Depende de para onde o hardware da indústria está indo", diz Rehder. "Ao permanecer nas gerações um pouco mais, você chega a um nível de maturidade com a resolução dos problemas em que é mais fácil e confiável para os clientes se você não estiver realmente fazendo mudanças o tempo todo".

"Está se movendo um pouco mais rápido agora, mas ainda é cedo em termos de demanda de IA generativa. Ainda não iniciamos nossos ciclos de atualização de hardware, estamos mais de olho em quando a próxima geração está chegando e se queremos fazer isso quando normalmente faríamos, ou tentar nos mover um pouco mais cedo".

Uma mudança de tecnologia que Rehder vê como potencialmente interessante no contexto do ML é a óptica co-empacotada. Esta é uma integração avançada de óptica e silício em um único substrato empacotado e visa ajudar a aumentar a largura de banda e reduzir o consumo de energia. No entanto, a tecnologia permanece teimosamente no horizonte, perpetuamente pronta para se concretizar "no próximo ano".

Mas Rehder acredita que estamos nos aproximando disso "no próximo ano". Ele diz: "É real e está acontecendo, mas há uma troca”.

"Há vantagens em menos uso de energia e nas curtas distâncias que as coisas estão percorrendo. Mas se você assar toda a ótica no switch, então você comeu todos os custos associados a ele, e se você não vai realmente usar todas as portas do switch para conectar algo, há um custo extra associado”.

Outras tecnologias emergentes também são analisadas pela AWS, mas ainda não estão necessariamente em vigor.

Sobre o tema da Óptica Espacial Livre, Rehder responde: "A cada dois anos, alguém tem o projeto do Dia da Mentira da Óptica Espacial Livre com a bola de discoteca. Acho que ainda não chegamos lá em termos de onde é uma tecnologia interessante".

Ele é, no entanto, mais otimista sobre o potencial da fibra de núcleo oco, embora observe que é provável que isso desempenhe um papel maior fora do data center do que dentro.

A AWS colocou a fibra de núcleo oco em produção pela primeira vez em 2024. Embora possa reduzir a latência, dentro de um data center em si, isso é insignificante.

"A latência dentro do data center já é relativamente baixa em relação à fibra no prédio - são todas de curta duração e há uma vantagem marginal em reduzir isso ainda mais”.

"Tudo, desde testar e conversar com os clientes, sugere que uma redução de alguns por cento na latência não move muito a agulha em termos de desempenho", encolhe os ombros.

A confiabilidade é tudo

Embora a tecnologia nova e experimental seja sempre empolgante, para uma empresa do tamanho da AWS, a confiabilidade e o tempo de atividade são as coisas mais importantes para os clientes.

Enquanto a AWS analisa novas soluções, Rehder explica que sempre há a questão de "podemos fazer algo fundamentalmente diferente com o novo hardware?" Se a resposta for não, então "não vemos vantagem nisso", diz ele.

Ele acrescenta: "Mudar para um novo hardware desbloqueia outros riscos e não é nada contra nenhum dos fornecedores; sempre há mais torções e bugs quando você está aprendendo”.

"As novas gerações sempre verão complexidades - e quando você está procurando tornar as coisas mais rápidas, maiores e melhores, e empurrando muitos limites em muitos processos diferentes, o salto para o próximo nível de complexidade será ainda mais difícil do que o anterior”.

"Haverá muitos aprendizados, por exemplo, nos processos de fabricação e design. Tentamos não fazer com que nossos clientes passem por isso. Preferimos já ter resolvido os problemas e saber que vai funcionar em escala".

Com esse pano de fundo, interrupções em grande escala causadas pelas redes são muito raras, mas parte da prevenção delas é estar sempre preparado.

Como Rehder diz à DCD: "Tudo falha. Tudo falhará mais do que você espera, e falhará de maneiras únicas, emocionantes e criativas".

Ao optar por uma solução de rede "mais simples", Rehder e a AWS esperam evitar muito desse tipo de entusiasmo no futuro.