La fundación Apache, que supervisa a los cerca de 150 proyectos de código abierto bajo el famoso paraguas de Apache, ha anunciado Hadoop 2, la última versión del popular framework de software para computación distribuida.

Apache Hadoop permite a aplicaciones distribuidas de uso intensivo de datos trabajar con miles de nodos y exabytes de datos, proporcionando la base para muchas de las grandes aplicaciones de big data. El marco conecta miles de servidores para procesar y analizar los datos a la velocidad de la supercomputación.

La última versión del proyecto ha supuesto más de cuatro años de trabajo y ha alcanzado ahora el nivel de estabilidad y la preparación para obtener la designación de “disponibilidad general”, según un comunicado de Apache.

“Con el lanzamiento de Hadoop 2, la comunidad celebra un punto de inflexión en el desarrollo del proyecto. Creemos que esta plataforma es capaz de soportar nuevas aplicaciones e investigar en computación de gran escala”, explicó Chris Douglas, vicepresidente de Apache Hadoop.

Arun Murthy, release manager de Hadoop 2 y fundador de Hortonworks (empresa que ofrece una de las distribuciones más populares de Hadoop) dijo: “Ha sido un honor y un placer trabajar con la comunidad y una emoción personal ver que nuestros cuatro años de trabajo finalmente llegan a buen término con la disponibilidad general de Hadoop 2”.

“Hadoop se está convirtiendo realmente en la piedra angular de la arquitectura de datos actual, permitiendo a las organizaciones aprovechar el valor de sus datos, incluyendo la captura de nuevos tipos de datos, para impulsar nuevos servicios y aplicaciones innovadoras”.
 
Hadoop es ampliamente desplegado en organizaciones empresariales en todo el mundo, incluyendo algunos de los nombres más importantes de la economía digital, como Amazon Web Services, AOL, Apple, eBay, Facebook, Foursquare, HP, LinkedIn, Netflix, Rackspace y Twitter.

Muchas empresas, como Microsoft, IBM, Teradata y SAP, han integrado Hadoop en sus servicios. Yahoo!, uno de los pioneros, alberga el entorno de producción Hadoop más conocido hasta la fecha, que abarca más de 35.000 nodos.

Como novedades en Hadoop 2 se encuentra la inclusión de YARN, que sirve como sistema operativo distribuido a gran escala para aplicaciones de big data, que permite a múltiples aplicaciones funcionar de forma simultánea para un soporte más eficiente de los datos a lo largo de todo su ciclo de vida.