OpenAI ha lanzado GPT-4, la próxima generación de su modelo de lenguaje, meses después de que su chatbot ChatGPT revolucionara la industria de la inteligencia artificial.
Pero para aquellos que esperaban que la compañía cumpliera con su promesa original como una organización abierta de IA, el anuncio fue una decepción. "Dado el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala como GPT-4, este informe no contiene más detalles sobre la arquitectura (incluido el tamaño del modelo), hardware, cómputo de entrenamiento, construcción de conjuntos de datos, método de entrenamiento o similar". advirtió el informe técnico.
Si bien muchos detalles sobre el modelo están envueltos en misterio, lo que se sabe es que OpenAI utiliza el servicio en la nube del inversionista Microsoft para entrenar sus sistemas.
Eso originalmente implicó el desarrollo de hardware personalizado y especializado en los centros de datos Azure de Microsoft, pero ahora Microsoft planea implementar lo que ha aprendido en el mercado de IA más amplio.
“El codiseño de supercomputadoras con Azure ha sido crucial para escalar nuestras exigentes necesidades de capacitación en IA, haciendo posible nuestro trabajo de investigación y alineación en sistemas como ChatGPT”, dijo Greg Brockman, presidente y cofundador de OpenAI, en una publicación de blog de Microsoft .
Microsoft implementó decenas de miles de GPU Nvidia ubicadas en el mismo lugar conectadas entre sí en una red InfiniBand de baja latencia y alto rendimiento, a una escala sin precedentes. La empresa fue más allá de los límites que los proveedores de GPU y equipos de red jamás habían probado, entrando en un territorio desconocido.
“Debido a que estos trabajos abarcan miles de GPU, debe asegurarse de tener una infraestructura confiable y luego debe tener la red en el backend para poder comunicarse más rápido y poder hacerlo durante semanas”, dijo Nidhi Chappell, jefe de producto de Microsoft para computación de alto rendimiento e IA de Azure.
“No es algo que consiste simplemente en comprar un montón de GPU, las conecte y comienzan a trabajar conjuntamente. Hay mucha optimización a nivel de sistema para obtener el mejor rendimiento, y eso viene con mucha experiencia durante muchas generaciones”.
La experiencia de construir la infraestructura para OpenAI se ha incorporado al servicio más amplio de Azure AI, dijo la compañía.
“Vimos que necesitaríamos construir clústeres de propósito especial enfocados en habilitar grandes cargas de trabajo de capacitación, y OpenAI fue uno de los primeros puntos de prueba de eso”, explicó Eric Boyd, vicepresidente corporativo de Microsoft para AI Platform. “Trabajamos de cerca con ellos para saber cuáles son las cosas clave que estaban buscando mientras construían sus entornos de capacitación y cuáles eran las cosas clave que necesitaban”.
La compañía presentó esta semana la VM ND H100 v5 que permite a pedido en tamaños que van desde ocho hasta miles de GPU Nvidia H100 interconectadas por la red Nvidia Quantum-2 InfiniBand.
“Tener las primeras lecciones de retroalimentación de las personas que están empujando los límites y están a la vanguardia de esto nos brinda mucha información y una ventaja inicial sobre lo que se necesitará a medida que esta infraestructura avanza”, dijo Boyd.