Sam Altman, director ejecutivo de OpenAI, ha proporcionado una visión del uso individual de energía y agua de ChatGPT, mientras la empresa desarrolla gigavatios de computación para respaldar su IA generativa.
La cifra, que no ha sido revisada por pares, es el primer dato oficial de la compañía sobre el impacto del exitoso chatbot.
"Una consulta promedio consume unos 0,34 vatios-hora, aproximadamente lo que un horno consumiría en poco más de un segundo o una bombilla de alta eficiencia en un par de minutos", explicó Altman en una entrada de blog. "También consume unos 0.000322 litros de agua; aproximadamente una quinceava parte de una cucharadita".
Por supuesto, existen salvedades. No está claro qué se considera una "consulta promedio", y se desconoce si se excluyen las solicitudes de investigación más intensivas y profundas. No se incluye el impacto del entrenamiento a gran escala necesario para crear el modelo, ni la cifra es representativa de lo que un modelo en rápida evolución podría consumir en tan solo unos meses.
OpenAI también utiliza diferentes centros de datos para servir ChatGPT. Actualmente, estos provienen de Microsoft Azure, aunque cuenta con una flota de instalaciones de distinta antigüedad y tipos de refrigeración en distintas ubicaciones (con, por lo tanto, diferentes temperaturas ambiente y otras consideraciones).
Con Stargate y los acuerdos con Oracle y Google, esta plétora de tipos de instalaciones se expandirá aún más. De igual manera, dentro de los centros de datos, el hardware exacto puede cambiar con el lanzamiento de nuevas GPU, pero las antiguas se mantienen en uso. Todos estos factores impactarán las estadísticas.
"Actualmente, cientos de millones de usuarios interactúan con ChatGPT a diario", afirmó Altman. No está claro cuántas consultas realizan en promedio.
La prisa más amplia por implementar hardware de inferencia y entrenamiento de IA para OpenAI y sus rivales ha sobrecargado la red y ha llevado a las empresas a adoptar el gas y otros combustibles fósiles.
En su publicación, Altman repitió que, en un período más largo, el costo de la inteligencia debería converger a un nivel cercano al costo de la electricidad a medida que construir centros de datos y la computación se vuelve más fácil.
Para que esto suceda, imagina que los robots fabriquen más robots que puedan implementar centros de datos por sí mismos.
"Si tuviéramos que fabricar el primer millón de robots humanoides a la antigua usanza, pero luego pudieran operar toda la cadena de suministro (excavar y refinar minerales, conducir camiones, dirigir fábricas, etc.) para construir más robots, que a su vez podrían construir más instalaciones de fabricación de chips, centros de datos, etc., entonces el ritmo de progreso sería obviamente muy diferente", afirmó.
Comments