Por muito tempo, a indústria de Data Centers conseguiu se livrar da responsabilidade por suas emissões de carbono. Apesar da natureza intensiva em energia de um Data Center, não é um poluidor tão óbvio. Enquanto a UE se esforça para atingir suas metas líquidas zero, os parques industriais discretos que consomem a mesma quantidade de eletricidade que Bangladesh estão agora firmemente em sua mira.

A Diretiva de Relatórios de Sustentabilidade Corporativa, CSRD, é apenas uma das várias leis que monitorarão o consumo de energia de vários setores. O consumo de energia do Data Center é uma preocupação crescente, as redes de transmissão de dados respondem por 1-1,5% do uso global de eletricidade e 1% das emissões de GEE relacionadas à energia. A demanda por recursos para pesquisa de IA aumentará consideravelmente esse número.

Uma pesquisa da Jones Lang LaSalle descobriu que os Data Centers aumentaram os preços em 20-30%, à medida que a oferta se esforça para acompanhar a demanda. Empresas inteligentes estão olhando para a escrita na parede e tentando otimizar sua presença no Data Center hoje.

Os custos do Data Center vêm principalmente do armazenamento, recursos de computação e uso da rede. A otimização de cada um desses segmentos pode reduzir o custo geral da infraestrutura de back-end, liberando um orçamento que poderia ser melhor gasto em outro lugar em um departamento de TI já restrito. Há poucas dúvidas de que a legislação forçará as empresas a serem mais eficientes na forma como usam os Data Centers eventualmente. Ao realizar esse debate agora, é possível obter uma vantagem competitiva em comparação com as empresas que estão esperando por uma mudança na lei para estimulá-las a agir.

Eficiência da rede

Enquanto a AWS e a Microsoft estão sendo investigadas por cobrar dos usuários pela movimentação de dados entre fornecedores pela Autoridade de Concorrência e Mercados do Reino Unido, atualmente os Data Centers cobram pela entrada e exportação de dados. Esses serviços querem que os usuários armazenem o máximo possível de dados na nuvem, pois isso incentiva o aprisionamento do fornecedor. Isso significa que as organizações devem ter uma pilha de tecnologia que otimize a quantidade de dados que precisam ser exportados para criar relatórios relevantes.

As empresas naturalmente querem ter o máximo de dados possível, então seu primeiro porto de escala é a compactação. Cada solução de monitoramento tem maneiras de compactar a telemetria para minimizar os custos de carga e armazenamento. Diferentes formas de compactação têm vantagens dependendo do tipo de dados que uma empresa deseja armazenar e avaliar o método correto de compactação para uma empresa é um assunto em si. No monitoramento de séries temporais, a maioria das formas de compactação já está 90% + sem perdas no disco, concentrando-se na compactação como uma forma de gerar economia de eficiência é, para dizer caridosamente, abaixo do ideal. A compressão de rede é muito menos eficiente do que em disco, os estudos estão atualmente tentando explorar opções para reduzir a escala computacional de transferência de dados, mas muitas dessas opções ainda estão em estágios experimentais.

Um debate mais útil é quais dados a empresa precisa para permitir uma retrospectiva eficaz. Há uma tentação de coletar o máximo possível e resolvê-lo após o fato, não querendo perder dados que possam ser úteis. Essa linha de pensamento esconde os custos de oportunidade de coletar todas essas informações. A 0,01 dólar (0,05 reais) por GB para entrada e exportação na AWS; Coletar e armazenar dados supérfluos está efetivamente queimando dinheiro que poderia ser melhor gasto em outro lugar.

Uma carga de trabalho média de monitoramento pode consistir em armazenar amostras com uma velocidade média de ingestão de 1 milhão de amostras/s. A esses preços, essa carga de trabalho pode custar 10 mil dólares (57,6 mil reais) por mês. Reduzir a resolução desses dados de cinco segundos para um minuto reduziria o custo para 1,6 mil dólares (9,2 mil dólares) por mês. Embora este seja um exemplo extremo, ele ilustra o impacto de pequenas mudanças nas operações.

É melhor ter um plano de retenção de dados e os objetivos que os dados suportam. Isso requer mais preparação entre a equipe de operações, o CIO e o CFO. Pode ser difícil para as partes interessadas internas explicar o valor de menos para seus superiores, aproveitar isso como uma oportunidade para alinhar a gerência e a equipe sobre por que os logs são importantes, mas também quais logs são importantes.

Escalabilidade

A escalabilidade é o perigo oculto na coleta e armazenamento excessivos de dados. A maioria dos logs e programas de monitoramento será dimensionada até um determinado ponto, após o qual o consumo de recursos se tornará exponencial. Algumas soluções são quase infinitamente escaláveis, mas mesmo essas têm suas limitações. O uso médio não deve ocupar a maior parte da capacidade. Superficialmente, parece lógico aproveitar ao máximo os recursos presentes, mas isso não deixa espaço para picos de atividade.

A Internet introduziu a dinâmica do vencedor leva tudo para a maioria dos produtos. Antes da Internet, a demanda era limitada pela geografia ou oferta. Com a propriedade intelectual, como soluções de software, a distribuição potencial é infinita. Se você é um desenvolvedor SaaS habilidoso, mas relativamente obscuro, estar na primeira página do Reddit pode render mais clientes do que uma empresa física poderia esperar de estar na primeira página de todos os jornais há 25 anos.

Os enormes picos de popularidade resultantes da dinâmica de mercado "o vencedor leva tudo" significam que todas as empresas precisam estar prontas para aproveitar as oportunidades com pouco ou nenhum aviso. Se uma empresa se tornar viral, as necessidades de dados podem aumentar por um fator de dez. O hardware é uma quantidade fixa que leva mais tempo para se adaptar. O software, portanto, precisa acompanhar esse aumento na demanda. Idealmente, ele só deve aumentar os recursos necessários em 10x, na prática, pode chegar a 100x. Sem headroom e escalabilidade, uma grande chance se torna uma plataforma quebrada que perderá para os concorrentes que estavam preparados.

Gargalos de hardware

A memória de acesso aleatório em Data Centers está sob pressão crescente em comparação com o armazenamento padrão. A RAM é muito mais cara do que o espaço em disco e tem menos opções de escalabilidade. Normalmente, a RAM é limitada a opções que variam de 32 GB a 256 GB em uma máquina já grande e cara. Enquanto o espaço em disco é medido em terabytes ou até petabytes.

Pesquisadores de universidades de pesquisa dos EUA, notadamente Brown e MIT, estão experimentando memória flash para reduzir os requisitos de RAM e camadas de software que otimizam melhor a tomada de decisões do processo. Essas inovações e a adoção de processadores de arquitetura ARM com núcleos de alto e baixo desempenho para diferentes tarefas podem ser um caminho para um melhor desempenho no futuro.

Para aqueles de nós que vivem no presente, a questão é o que pode ser feito para minimizar a utilização da RAM. Mais uma vez, observe o que está consumindo os processos e reduza sempre que possível. Os custos de DRAM aumentam exponencialmente com a capacidade, não linearmente. A RAM é um lugar fácil para recuperar custos.

À medida que a pressão é exercida sobre os Data Centers para se tornarem mais eficientes, os produtos que têm eficiência em seu núcleo se tornarão mais populares devido à potencial economia de custos. Os contratos significam que simplesmente trocar de fornecedor não é uma opção imediata para todos os negócios, mas há conversas importantes que os CIOs devem ter internamente sobre a necessidade de operações e a escalabilidade das operações. Minimizando o custo de manter as luzes acesas no presente, deixando capacidade para crescimento futuro.

Atualmente, essas economias de eficiência reduzem os custos operacionais e deixam uma empresa bem preparada para escalar. Eventualmente, esse tipo de otimização de infraestrutura será aplicado potencialmente por impostos punitivos. Há um incentivo adicional para dar o salto para a otimização antes de ser pressionado pela legislação.