Por Curtis Anderson, arquitecto de software de Panasas y copresidente del grupo de trabajo de almacenamiento de MLCommons

Ver Netflix, buscar en Google, llamar a un Uber, apagar las luces con Alexa, desbloquear el teléfono e incluso seleccionar el tono de maquillaje adecuado: estos son solo algunos ejemplos de cómo interactuamos con la inteligencia artificial y el aprendizaje automático (IA/ML) Todos los días.

En esencia, IA/ML se trata de reconocimiento de patrones. La capacidad de reconocer patrones en tiempo real tiene innumerables posibilidades para mejorar los procesos comerciales, los resultados empresariales y la vida de las personas. IDC estima que el mercado mundial de la IA, incluidos el software, el hardware y los servicios, alcanzará la marca de 900 mil millones de dólares en 2026, con una tasa de crecimiento anual compuesta (CAGR) del 18,6 por ciento durante el período 2022-2026.

A medida que más y más organizaciones adopten IA/ML, sus equipos de TI deberán centrarse en los aspectos prácticos de cómo construir y administrar de manera rentable una infraestructura que pueda respaldar estas poderosas capacidades y escalar para el crecimiento futuro. Y si hay un componente de ese proceso que sigue siendo especialmente subestimado e incomprendido, es la infraestructura de almacenamiento de datos que se requiere para respaldar estas aplicaciones emergentes.

Aquí hay cuatro mitos comunes sobre el almacenamiento de IA/ML que deben ser eliminados.

1 - IA/ML tiene que ver con la GPU

Antes de la aparición de las modernas unidades de procesamiento gráfico (GPU) con un poder computacional extremo, las aplicaciones IA/ML y las redes neuronales que se usan hoy en día no eran más que un concepto fascinante. El silicio acelerador es, sin duda, crítico para las aplicaciones de IA/ML, pero es igualmente inútil sin el almacenamiento y las redes adecuados.

El almacenamiento y las redes son las manos que “alimentan a la bestia”. Se aseguran de que el siguiente conjunto de datos esté disponible para el acelerador antes de que haya terminado con el conjunto actual. Por lo tanto, la elección de la infraestructura de red y almacenamiento debe considerarse con el mismo cuidado que la GPU. De hecho, cada elemento debe equilibrarse para lograr el resultado óptimo: se desperdiciará demasiado rendimiento o capacidad de almacenamiento, mientras que muy poco dejará inactivo el costoso silicio computacional.

2: IA/ML requiere almacenamiento all-flash de alto IOP

Para “alimentar a la bestia”, el acelerador requiere que los datos estén disponibles cuando y donde sea necesario. Esto significa que el almacenamiento IA/ML no se trata simplemente de velocidad pura. Los costosos sistemas de almacenamiento all-flash con IOP impresionantemente altos podrían muy bien ser una pérdida de presupuesto.

Los aceleradores tienen distintos niveles de rendimiento, al igual que las diferentes aplicaciones IA/ML. Por ejemplo, el cálculo por imagen en las aplicaciones de reconocimiento de objetos lleva tanto tiempo que un sistema híbrido (unidad de disco duro y disco de estado sólido) funcionaría tan bien como una solución NVMe, a un precio mucho más bajo. Los equipos de TI necesitan equilibrar sus aceleradores de cómputo, cargas de trabajo de IA/ML, con sus opciones de almacenamiento para encontrar la solución óptima. Los puntos de referencia independientes como MLPerf pueden ayudar aquí.

3 - El almacenamiento en niveles reducirá los costos de IA/ML

El almacenamiento en niveles es una estrategia común para maximizar los recursos de almacenamiento y minimizar los costos. Los datos de misión crítica "calientes" y a los que se accede con frecuencia se colocan en medios de almacenamiento caros y rápidos (es decir, SSD), mientras que los datos de archivo "fríos" a los que rara vez se accede o se actualizan se guardan en los dispositivos de almacenamiento más baratos (es decir, cinta). Si bien es un enfoque ampliamente adoptado para administrar de manera rentable los requisitos de almacenamiento, este modelo no se puede aplicar a las aplicaciones de IA/ML. Eso es porque no existen los datos fríos en IA/ML.

Todos los datos de entrenamiento de IA/ML se utilizan en cada ejecución de entrenamiento, por lo que la asignación de algunos datos de entrenamiento a diferentes capas de almacenamiento simplemente ralentizará el proceso. En cambio, las soluciones de almacenamiento IA/ML deben tratar todos los datos como "activos" y garantizar que todos los datos estén siempre disponibles.

Al mismo tiempo, la precisión de las cargas de trabajo de IA/ML aumenta con el volumen de datos de entrenamiento disponibles. Esto significa que la infraestructura de almacenamiento debe poder escalar sin interrupciones a medida que se expanden los volúmenes de datos de entrenamiento. El crecimiento lineal de escalamiento horizontal, en contraste con el almacenamiento en niveles, es un requisito de almacenamiento clave para estos entornos.

4 - IA/ML puede hacer un uso efectivo de un sistema de almacenamiento de un solo uso dedicado

IA/ML es de mayor valor cuando se aplica a los datos centrales de una organización. Por ejemplo, los bancos están adoptando estas tecnologías para la detección de fraudes y los fabricantes de medicamentos pueden analizar mejor los datos de experimentación o fabricación para acelerar el desarrollo de medicamentos. En el caso de las tiendas de comestibles de Amazon o IL Makiage, la empresa de maquillaje impulsada por IA, las tecnologías de IA están en el centro de su infraestructura tecnológica y comercial. Para muchas empresas, IA/ML ya no son proyectos secundarios experimentales que podrían ser atendidos por un sistema de almacenamiento de un solo uso dedicado; más bien, se han convertido en una parte integral del negocio. Como tal, estas aplicaciones deben consolidarse en la solución de almacenamiento e infraestructura de TI central de la organización.

Eligiendo sabiamente...

Las innovaciones de IA/ML están configuradas para impulsar transformaciones masivas en toda la empresa e impactar en casi todos los aspectos de una organización. Se espera que muchas tecnologías alcancen la adopción generalizada en los próximos dos a cinco años, como la IA perimetral, la inteligencia de decisiones y el aprendizaje profundo, según el ciclo de exageración de Gartner. A medida que las organizaciones se embarcan en sus propios viajes individuales para aplicar esta nueva y poderosa técnica, la elección de la infraestructura de almacenamiento subyacente tendrá un gran impacto en la capacidad de las organizaciones para maximizar el potencial de las aplicaciones de IA/ML.