Oracle Cloud Infrastructure (OCI) ha puesto a disposición de sus clientes instancias bare-metal de GPU Nvidia L40S.
Anunciadas en una publicación del blog de Nvidia, las instancias están disponibles bajo pedido. También se han compartido planes para una nueva máquina virtual acelerada por una sola GPU Nvidia H100 Tensor Core.
La L40S es una GPU para centros de datos diseñada para aplicaciones de video, gráficos e inteligencia artificial generativa. Tiene núcleos tensoriales de cuarta generación y puede admitir el formato de datos FP8. Según Nvidia, una sola GPU L40S (FP8) puede generar hasta 1,4 veces más tokens por segundo que una sola GPU Nvidia A100 Tensor Core (FP16) para Llama 3 8B con Nvidia TensorRT-LLM con una longitud de secuencia de entrada y salida de 128.
OCI ofrecerá las GPU L40S en su oferta de computación bare-metal BM.GPU.L40S.4, que cuenta con cuatro GPU L40S, cada una con 48 GB de memoria GDDR6. También incluye unidades NVMe locales con una capacidad de 7,38 TB, CPU Intel Xeon de cuarta generación con 112 núcleos y 1 TB de memoria del sistema.
También está disponible en el Supercluster OCI, que tendrá 800 Gbps de ancho de banda entre nodos y baja latencia para hasta 3.840 GPU.
Entre sus primeros usuarios se encuentra Beamr Cloud, un servicio de codificación de vídeo basado en la nube.
“Elegimos la infraestructura de IA de OCI con instancias de hardware y GPU Nvidia L40S para lograr una codificación de video un 30 por ciento más eficiente”, afirmó Sharon Carmel, directora ejecutiva de Beamr Cloud. “Los videos procesados con Beamr Cloud en OCI tendrán un consumo de almacenamiento y ancho de banda de red hasta un 50 por ciento menor, lo que acelerará las transferencias de archivos en dos veces y aumentará la productividad para los usuarios finales. Beamr brindará a los clientes de OCI flujos de trabajo de IA de video, preparándolos para el futuro del video”.
La nueva VM con un solo acelerador de GPU H100 "llegará pronto" y brindará acceso rentable y bajo demanda para empresas con cargas de trabajo de HPC e IA generativa.
Los planes de Oracle para ofrecer el L40S se revelaron por primera vez en septiembre de 2023, con una fecha de disponibilidad prevista para principios de 2024.