O Oracle Cloud Infrastructure (OCI) Supercluster com GPUs Nvidia H200 agora está disponível para o público geral.

O Supercluster pode escalar até 65.536 GPUs Nvidia H200 e oferece até 260 exaflops de desempenho FP8 máximo. A Oracle afirma que é o maior supercomputador de IA na nuvem.

De acordo com a Oracle, cada instância de computação dentro do Supercluster tem 76% mais memória de alta largura de banda e 40% mais largura de banda de memória do que a instância H100, melhorando assim seu desempenho de inferência LLM em até 1,9 vezes.

O Supercluster tem uma rede de cluster personalizada usando RDMA sobre Ethernet Convergente Versão 2 (RoCE v2) além das placas de interface de rede (NICs) Nvidia ConnectX-7 que podem lidar com interconexões de GPU para GPU de até 400 Gbps.

Ele também possui uma rede front-end atualizada de 200 Gbps para mover grandes conjuntos de dados entre armazenamento e GPUs com mais eficiência.

As instâncias são Bare metal e cada uma possui oito Nvidia H200s com 141 GB de memória HBM3e e duas CPUs Intel Sapphire Rapids 8480+ de 56 núcleos.

O preço continua sendo de 10 dólares (58 reais) por GPU por hora, o mesmo que nas instâncias H100. O H100 Supercluster pode ser dimensionado para 16.384 GPUs.

Em setembro de 2024, a Oracle revelou que construiria um supercluster com até 131.072 das próximas GPUs Nvidia Blackwell, com lançamento previsto para o primeiro semestre de 2025.