Mark Zuckerberg confirmou que as restrições de energia se tornaram o maior obstáculo para a construção de Data Centers de IA.

Falando no Dwarkesh Podcast, o CEO da Meta ecoou os comentários da indústria sobre os desafios de construir Data Centers cada vez maiores.

“Nos últimos anos, houve esse problema com a produção de GPUs”, disse ele. “Mesmo as empresas que tinham dinheiro para pagar por GPUs não podiam necessariamente obter tantas quanto queriam por causa de todas as restrições de fornecimento”.

Com os modelos de IA exigindo investimentos cada vez maiores para melhorar, “há a questão crítica de em que ponto deixa de valer a pena investir capital”, disse Zuckerberg. “Mas eu realmente acho que, antes de chegarmos a isso, teremos limitações de energia”.

Ele também disse que, embora o software seja apenas “um pouco regulamentado”, a indústria de energia é um setor fortemente regulado. “Quando se fala em construir grandes novas usinas e grandes construções e construir linhas de transmissão que atravessam terrenos públicos e privados... falamos de muitos anos de tempo de espera”.

Ele acrescentou: “Se quiséssemos construir uma instalação enorme, energizá-la seria um projeto de longo, longo prazo. Acho que [algumas pessoas] vão, mas não acho que isso seja algo que possa ser mágico”, como 'você obtém um nível de IA, obtém muito capital e o coloca em [um grande Data Center]”.

Essas limitações retardaram a construção do próprio Data Center da Meta. No final de 2022, a empresa descartou instalações em desenvolvimento para um novo design de IA e agora está desenvolvendo uma série de instalações aprimoradas.

“Acho que provavelmente construiríamos clusters maiores do que podemos atualmente se pudéssemos obter energia para fazer isso”, disse Zuckerberg.

“Ninguém construiu um Data Center de 1 GW ainda. Acho que vai acontecer. É só uma questão de tempo, mas não será no ano que vem”.

Não há menção no podcast do potencial plano da Microsoft de construir um Data Center de 5GW para OpenAI até 2030.

“Algumas dessas coisas levarão alguns anos – não sei quantos – para serem construídas. Só para colocar isso em perspectiva, acho que um gigawatt seria do tamanho de uma usina nuclear significativa que só seria usada para treinar um modelo”.

Em outra parte do podcast, Zuckerberg falou sobre o Meta Training and Inference Accelerator e outros silicones personalizados, e quando eles podem ser usados para treinar seus modelos.

“A abordagem que adotamos foi que, em primeiro lugar, basicamente construímos silício personalizado que poderia lidar com inferência para nosso tipo de classificação e recomendação, ou seja, bobinas, notícias e anúncios”, disse ele.

“Isso consumiu muitas GPUs. Quando conseguimos mover isso para nosso próprio silício, agora podemos usar as GPUs Nvidia mais caras apenas para treinamento. Em algum momento, esperançosamente, teremos silício que podemos usar no início para treinar algumas das coisas mais simples e, em seguida, treinar modelos realmente grandes”.

A empresa anunciou nessa semana que seu assistente de IA Llama 3 seria lançado em todas as suas plataformas, com uma versão de 400 bilhões de parâmetros a caminho.