Cloudera, la empresa de la Enterprise Data Cloud, ha anunciado el lanzamiento de Cloudera DataFlow para la nube pública, un servicio nativo en la nube para flujos de datos con el objetivo de procesar cargas de trabajo de transmisión híbrida en Cloudera Data Platform (CDP).
Con Cloudera DataFlow para la nube pública, los usuarios pueden automatizar operaciones de flujo de datos complejas, aumentar la eficiencia operativa de dichos flujos de transmisión con capacidades de escalado automático y reducir los costes de la nube al eliminar las conjeturas sobre el tamaño de la infraestructura.
Se espera que los volúmenes de Data-in-Motion crezcan exponencialmente, hasta 79 ZB, en todas las industrias, de acuerdo con el Pronóstico mundial de datos y dispositivos de IDC Global DataSphere IoT, 2021-2025. Muchas organizaciones en todo el mundo ya aprovechan Apache NiFi para capturar y procesar datos de arquitecturas de nube híbrida mediante el diseño visual de flujos de datos sin código.
Si bien la nube proporciona una salida fácil para procesar o almacenar volúmenes masivos, existen múltiples desafíos que deben abordarse. La implementación de docenas de flujos de datos sofisticados en un solo clúster puede generar desafíos operativos y de monitoreo.
Cuando varios flujos de NiFi compiten por los mismos recursos, pueden producirse problemas de rendimiento. Los administradores de TI a menudo eligen tamaños de infraestructura más grandes por precaución, lo que conduce a una subutilización y altos costes. Finalmente, las empresas prefieren un modelo de pago por uso para evitar desembolsar grandes cantidades por recursos que no utilizan.
“Cloudera DataFlow automatiza y administra los flujos de datos nativos de la nube en kubernetes, es algo que solo nosotros ofrecemos”, aseguró Dinesh Chandrasekhar, Head of Product Manager, Data-in-Motion de Cloudera. "Ahora es fácil para nuestros clientes aumentar la eficiencia operativa de sus cargas de trabajo de transmisión y ahorrar en costes de infraestructura en la nube pública".
“Las empresas están haciendo un acto de equilibrio entre la eficiencia y el rendimiento por un lado y el control de costes a medida que amplían sus cargas de trabajo de transmisión”, afirmó Maribel López, fundadora y analista principal de Lopez Research. “La adopción de arquitecturas de nube híbrida solo aumenta este desafío. Los líderes tecnológicos necesitan herramientas inteligentes que les ayuden a optimizar el proceso de ejecución y la gestión de cargas de trabajo en la nube".
Cloudera DataFlow para la nube pública es un poderoso servicio nativo en la nube para NiFi en Kubernetes que incluye capacidades operativas y de monitoreo clave que abordan estos desafíos fácilmente y no suelen estar disponibles con los servicios básicos de flujo de datos:
- Catálogo de flujo central para la capacidad de administración, el descubrimiento y el control de versiones.
- Panel de control central para monitorear, solucionar problemas y ajustar el rendimiento de los flujos de datos en múltiples clústeres de la nube.
- Asistente de implementación simple y API sólidas para escalar automáticamente los flujos en kubernetes administrados por CDP.
- Flujos prediseñados llamados "ReadyFlows" para algunos de los casos de uso comunes de transmisión.