Google ha anunciado una serie de herramientas y servicios centrados en inteligencia artificial para su plataforma de nube.
La compañía dijo que Cloud TPU v5e ya estaba disponible en versión preliminar y es el último en su Tensor Processing Unit. En comparación con TPU v4, que se lanzó en 2021, según Google el chip tiene un rendimiento de entrenamiento por dólar hasta dos veces más rápido y hasta 2,5 veces el rendimiento de inferencia por dólar para modelos de lenguaje grandes y modelos de IA generativa.
El nuevo TPU estará disponible en ocho configuraciones diferentes de máquinas virtuales, desde un chip TPU hasta más de 250 en un solo segmento. Para aquellos que necesitan más computación, la compañía está lanzando 'Multislice', una forma de vender modelos a decenas de miles de chips de TPU.
"Hasta ahora, los trabajos de capacitación que usaban TPU se limitaban a una sola porción de chips de TPU, limitando el tamaño de los trabajos más grandes a un tamaño máximo de porción de 3.072 chips para TPU v4", dijeron el vicepresidente de aprendizaje automático, sistemas e inteligencia artificial en la nube de Google, Amin Vahdat y vicepresidente de infraestructura informática y de aprendizaje automático, Mark Lohmeyer, en una publicación de blog conjunta.
"Con Multislice, los desarrolladores pueden escalar cargas de trabajo hasta decenas de miles de chips a través de interconexión entre chips (ICI) dentro de un solo pod, o entre múltiples pods a través de una red de centro de datos (DCN)".
Además de las nuevas TPU, Google dijo que las máquinas virtuales (VM) A3 estarán disponibles de forma general el próximo mes, con ocho GPU Nvidia H100, dos procesadores escalables Intel Xeon de cuarta generación y 2 TB de memoria. Las instancias se anunciaron originalmente en mayo y pueden crecer hasta 26.000 GPU Nvidia H100 Hopper, aunque no está claro cuántas H100 tendrá Google, dada la actual escasez de GPU.
La compañía ha informado además que la startup de IA generativa Anthropic fue uno de los primeros usuarios de las nuevas máquinas virtuales TPU v5e y A3. Si bien Google invirtió 300 millones de dólares en la startup, también es un usuario vocal de los servicios de AWS.
"Estamos entusiasmados de trabajar con Google Cloud, con quien hemos estado colaborando para entrenar, implementar y compartir nuestros modelos de manera eficiente", dijo Tom Brown, cofundador de Anthropic.