A inteligência artificial está avançando de forma implacável no campo da computação. Embora atualmente cerca de um em cada sete data centers esteja equipado para hospedar cargas de trabalho de IA, espera-se que esse número se aproxime de 70% até 2030. A IA está migrando dos data centers de hiperescala para os corporativos e para o perímetro da rede, onde se projeta que as aplicações de Edge IA (Inteligência Artificial de Borda) gerem quase 66,5 bilhões de dólares (331,5 bilhões de reais) até o final da década. O combustível para a nova era da computação são os dados — volumes impressionantes que devem ser alimentados em alta velocidade para uma infraestrutura de computação de IA exigente e em rápida expansão.

Esses vastos repositórios de conteúdo estão sobrecarregando as estruturas de armazenamento convencionais e colocando em evidência uma fraqueza inerente de arquitetura. A memória dos data centers (DRAM e a memória especializada de alta largura de banda conhecida como HBM) tem cada vez mais dificuldade em acompanhar as crescentes demandas dos grandes modelos de IA em termos de densidade, capacidade de armazenamento e escalabilidade. Ao mesmo tempo, os fabricantes de computação em hiperescala enfrentam custos crescentes de produção de DRAM e HBM, complexidade de projeto e consumo de energia. O desafio é ainda mais assustador em data centers corporativos e aplicações de IA na borda, onde uma pegada física proporcionalmente menor os torna mal equipados para absorver os custos crescentes de memória e o consumo de energia. 

Há outra questão urgente trazida pela inferência de IA, que atualmente é a principal carga de trabalho de IA e apresenta requisitos de gerenciamento de dados diferentes daqueles de treinamento de IA. A inferência armazena modelos de IA de grande porte — e cada vez maiores —, e as memórias baseadas em HBM e DRAM demonstraram não ter a capacidade e a escalabilidade de custos necessárias para acompanhar essas novas demandas. Dadas essas características de memória claramente distintas, surge uma oportunidade para uma tecnologia de memória otimizada especificamente para a inferência de IA. 

Por que a DRAM e a HBM não atendem às cargas de trabalho de inferência de IA

Para entender por que a DRAM e a HBM, por si só, não são a solução ideal para a implantação de IA a longo prazo, considere as seguintes desvantagens. Elas começaram como pequenas fissuras, mas, se não forem corrigidas, irão se ampliar com o tempo, minando os alicerces do armazenamento centrado em IA de próxima geração.

Limitações de densidade: o aumento da capacidade da DRAM estagnou, enquanto cresce a necessidade de maior capacidade para lidar com a inferência de IA.

Incompatibilidade com a inferência de IA: as vantagens da baixa latência e das características de acesso aleatório da DRAM não são relevantes para a inferência de IA, onde os padrões de acesso são determinísticos e mais tolerantes à latência graças a técnicas como a pré-busca de dados.³

Características de uma arquitetura de memória otimizada para inferência de IA

Essas tensões estruturais afetam uma indústria de DRAM avaliada em 120 bilhões de dólares (598,3 bilhões de reais), que busca manter seu domínio sobre os data centers, tendo em vista que os gastos dos provedores de hiperescala com infraestrutura de IA podem chegar a 6,7 trilhões de dólares (33,4 trilhões de reais) até o final da década.

E se fosse hora de romper de vez e projetar uma nova memória do zero, que atendesse às necessidades da aplicação, em vez do contrário? Uma memória de classe de armazenamento otimizada para IA teria as seguintes características:

• Maior capacidade de memória escalável, provisionada para cargas de trabalho de inferência;
• Maior densidade de memória (GB/mm²);
• Alta largura de banda para atender aos requisitos da inferência de IA;
• Menor consumo de energia no nível do sistema;
• Métricas econômicas ($/TB).

Memória High Bandwidth Flash mira Data Centers de IA

A High Bandwidth Flash (HBF™) é uma nova arquitetura de memória revolucionária, desenvolvida especificamente para impulsionar a próxima geração da computação de IA. A HBF atende aos requisitos de capacidade, eficiência energética, throughput (taxa de transferência) e escalabilidade de aplicações avançadas e intensivas em dados. Em comparação com a HBM, a HBF oferece maior capacidade e densidade de memória com largura de banda comparável, o que se alinha melhor às tendências de inferência de IA. Como meio de armazenamento persistente, a HBF também retém dados em caso de perda de energia e é termicamente estável, suportando altas temperaturas de operação.

Para concretizar essas vantagens, a HBF aproveita a tecnologia de projeto e fabricação BiCS da Sandisk e sua arquitetura de chip, que redesenha efetivamente a memória flash NAND, otimizando-a para alta largura de banda e características voltadas para cargas de inferência de IA. O uso da tecnologia de wafer BiCS CMOS Bonded Array (CBA) aumenta ainda mais a eficiência energética e a largura de banda. 

A HBF reinventa a memória flash NAND para aplicações de IA

Em comparação com a memória flash NAND convencional, o uso de paralelismo, o dimensionamento lógico avançado e as técnicas de empilhamento personalizadas da HBF ajudam a proporcionar menor latência e largura de banda de leitura significativamente maior, permitindo que grandes modelos de linguagem transmitam dados a velocidades próximas às da DRAM.

A HBF também oferece suporte a grandes caches KV para lidar com eficiência com prompts logos e complexos de usuário, bem como com dados específicos de clientes e domínios, o que ajuda a melhorar a precisão da inferência de IA.

Ampliando a IA centrada na memória para empresas e redes de borda

Como a HBM geralmente não está disponível para uso em ambientes móveis ou de borda, devido a limitações de densidade, custo e consumo de energia, o valor de uma maior capacidade de memória para lidar com problemas de inferência de IA mais complexos é alcançado com a HBF. Isso abre caminho para que dispositivos edge, como smartphones, sejam capazes de tomar decisões em tempo real para gerenciar uma variedade de tarefas sofisticadas. Graças à sua memória persistente, a HBF permite recuperar facilmente o contexto de consultas anteriores para resolver novos problemas.

As vantagens da HBF se estendem à computação em nível corporativo, onde a base de usuários é muito menor do que em data centers de hiperescala, e grandes clusters de GPUs suportados pela HBM são muito caros. Ao adotar aceleradores habilitados para HBF, empresas menores podem potencialmente ajustar modelos grandes e pré-treinados para usos específicos de cada domínio.

A memória otimizada elimina  obstáculos ao crescimento da computação em IA

Ao nosso redor, data centers e dispositivos de IA na borda operam de forma autônoma, dando suporte a tarefas que vão desde a receita do jantar desta noite até descobertas científicas revolucionárias. Tarefas rotineiras, como hospedagem de sites e gerenciamento de dados corporativos, estão dando lugar a cargas de trabalho inteligentes que geram insights acionáveis por meio de aprendizado de máquina, aprendizado profundo e análise de dados. 

Agora, é hora de reconsiderar como a memória de data centers e de borda são provisionadas para gerenciar modelos de inferência em grande escala que fazem previsões e geram resultados. Em comparação com a HBM, a HBF tem uma clara vantagem de capacidade, ao mesmo tempo em que oferece a alta taxa de transferência exigida por aplicações de inferência de IA⁶. Como uma nova tecnologia de memória de sistema escalável, a HBF ajuda a reduzir gargalos de desempenho e acelera o tempo de obtenção de insights para aplicações de IA tanto em data centers modernos quanto em redes de edge.