Pruebas independientes realizadas por el operador del centro de datos Aquatron en asociación con el Laboratorio Nacional de Los Álamos (LANL) han descubierto que los chips H200 de Nvidia superan al acelerador Gaudi 3 de Intel por al menos un factor de ~9,0 en tres casos de prueba, según puede informar DCD en exclusiva.

Esto contradice las afirmaciones realizadas por Intel en su folleto de ventas de julio de 2024, donde la compañía proyectó que su acelerador de inteligencia artificial Gaudi 3 ofrecería una inferencia 1,5 veces más rápida en comparación con el H200 de Nvidia, al ejecutar modelos de lenguaje grande comunes.

Aquatron y LANL utilizaron servidores Supermicro nuevos, cada uno de ellos con ocho chips Nvidia H200 o chips Intel Gaudi 3, para ejecutar lo que afirma ser la primera prueba de validación de datos Llama 3.1 405B de precisión 16 del mundo para los dos conjuntos de chips.

En tres casos de prueba (investigación de IA, historial y escenarios de codificación), el H200 mostró una aceleración consistente de 9 a 9,5 veces en todos los benchmarks, manteniendo una generación de salida de aproximadamente 25 a 26 tokens por segundo, independientemente de la longitud de salida. En comparación, Gaudi 3 solo mostró aproximadamente 2,7 tokens por segundo.

Aquatron y LANL también descubrieron que, si bien ambos aceleradores muestran una degradación del rendimiento con salidas más largas, el H200 de Nvidia escala de manera más eficiente y mantiene una mejor eficiencia a medida que aumenta la longitud de salida.

En consecuencia, para las implementaciones de producción, Aquatron concluyó que el H200 de Nvidia podría potencialmente manejar 9 veces más solicitudes de inferencia con la misma latencia, o reducir los costos de inferencia por un factor similar, y señaló que la brecha de rendimiento constante en las tres pruebas sugiere ventajas arquitectónicas para el H200, en lugar de optimizaciones específicas de la tarea.

La ventaja de rendimiento constante en diferentes cargas de trabajo también sugiere que H200 se beneficia de un mayor ancho de banda de memoria y unidades de cómputo más eficientes.

Intel presentó por primera vez su acelerador de inteligencia artificial Gaudi 3 en abril de 2024. Sin embargo, en la presentación de resultados del tercer trimestre de 2024 de la compañía, el exdirector ejecutivo Pat Gelsinger dijo a los analistas que la adopción de Gaudi ha sido más lenta de lo previsto e Intel no ha logrado su objetivo de 500 millones de dólares en ingresos por Gaudi en 2024.

DCD se ha puesto en contacto con Intel para solicitar comentarios sobre los resultados publicados anteriormente.

Esta no es la primera vez que Aquatron implementa los chips Gaudi 3 de Intel. El director ejecutivo y fundador, Michael Kim, dijo que la compañía había desarrollado anteriormente el clúster Gaudi 3 de 64 nodos más compacto del mundo, una afirmación que, según él, ha sido confirmada por Intel.

Fundada en 2023 por Kim, Aquatron dice que su objetivo es "construir centros de datos preparados para AGI para nuestros clientes soberanos" y afirma haber desplegado ya más de 560 MW en cuatro continentes a través del Consorcio Aquatron, aunque hay poca información disponible en línea sobre la empresa o sus centros de datos.

La empresa también ha desarrollado el Aquatron POD, descrito por la empresa como un "sistema todo en uno, listo para usar, diseñado específicamente para la inferencia y el razonamiento de AGI, con un PUE récord de 1.051 y control total desde la potencia hasta el cálculo, hasta la captura de carbono del 98 por ciento".

En noviembre de 2024, la empresa coreana de gestión de servicios de TI ITCen Group firmó un memorando de entendimiento con Aquatron para construir un centro de datos optimizado para IA en Corea del Sur.