A IBM, Pivotal e a Hortonworks lideram um grupo de empresas que se uniram para criar a "Big Data Alliance" e desenvolver uma série de padrões para Hadoop. O objetivo é identificar versões específicas e suportar um conjunto de trabalho focado em grandes volumes de dados.

“À medida que o valor de negócios do Apache Hadoop ganha reconhecimento por parte das empresas, cresce a necessidade de ambientes rigorosamente testados, consistentes e bem definidos providos por um ecossistema sólido”, comenta Raymie Stata, CEO da Altiscale, empresa que também integra o grupo. A ideia é criar uma base comprovada de soluções de classe corporativa.

A Pivotal acredita que dada a popularidade do Hadoop, já nos próximos anos o software se tornará um mercado de bilhões de dólares. O código base para a tecnologia é gerenciado pela Apache Software Foundation e empacotado por múltiplos vendors em distribuições comerciais. Muitas dessas versões não são compatíveis entre si.

Segundo o portal Computer World, o cenário fica mais complexo ainda devido ao número de outros sistemas paralelos, como Hive, Ambari e ZooKeeper, que podem pegar trabalhos integrados ao Hadoop.

Com o estabelecimento de uma biblioteca base comum, o Open Data Platform alinhará os processos permitindo melhor compreensão sobre quais tecnologias, e quais versões dessas tecnologias, trabalham melhor umas com as outras.

Além de IBM, Hortonworks e Pivotal, integram a aliança a Verizon, EMC, General Electric, Infosys, SAS, Altiscale, Capgemini, CenturyLink, Splunk, Enterprise Solutions, Teradata e a VMware.