O Google anunciou uma série de ferramentas e serviços centrados em inteligência artificial para sua plataforma de nuvem.

A empresa afirmou que o Cloud TPU v5e já está disponível em versão preliminar e é o mais recente na sua Tensor Processing Unit. Comparado ao TPU v4, lançado em 2021. De acordo com o Google, o chip tem um desempenho de treinamento por dólar até duas vezes mais rápido e até 2,5 vezes o desempenho de inferência por dólar para modelos de linguagem grandes e modelos de IA generativos.

O novo TPU estará disponível em oito configurações diferentes de máquinas virtuais, desde um chip TPU até mais de 250 num único segmento. Para aqueles que precisam de mais capacidade de computação, a empresa está lançando o 'Multislice', uma forma de distribuir modelos para dezenas de milhares de chips TPU.

"Até agora, os trabalhos de treinamento usando TPU eram limitados a uma única porção de chips TPU, limitando o tamanho dos trabalhos maiores a um tamanho máximo de porção de 3.072 chips para o TPU v4", disseram o vice-presidente de aprendizado de máquina, sistemas e inteligência artificial na nuvem do Google, Amin Vahdat, e o vice-presidente de infraestrutura de computação e aprendizado de máquina, Mark Lohmeyer, em publicação.

"Com o Multislice, os desenvolvedores podem dimensionar cargas de trabalho para dezenas de milhares de chips por meio da interconexão entre chips (ICI) dentro de um único pod, ou entre vários pods por meio de uma rede de data center (DCN)", explicaram.

Além dos novos TPUs, o Google afirmou que as máquinas virtuais (VMs) A3 estarão disponíveis em geral no próximo mês, com oito GPU Nvidia H100, dois processadores escaláveis Intel Xeon de quarta geração e 2 TB de memória. As instâncias foram originalmente anunciadas em maio e podem crescer até 26.000 GPU Nvidia H100 Hopper, embora não esteja claro quantas H100 o Google terá, dada a atual escassez de GPUs.

A empresa também informou que a startup de IA generativa Anthropic foi uma das primeiras usuárias das novas máquinas virtuais TPU v5e e A3. Embora o Google tenha investido 300 milhões de dólares na startup, ele também é um usuário ativo dos serviços da AWS.

"Estamos animados para trabalhar com o Google Cloud, colaborando para treinar, implantar e compartilhar os nossos modelos de maneira eficiente", disse Tom Brown, cofundador da Anthropic.