A IBM anunciou a disponibilidade do LLM Mixtral-8x7B de código aberto, desenvolvido pela Mistral AI, em sua plataforma de dados e IA watsonx, à medida que continua a expandir recursos para ajudar os clientes a inovar com os próprios modelos base da IBM e de uma variedade de fornecedores de código aberto.

A IBM oferece uma versão otimizada do Mixtral-8x7b que, em testes internos, foi capaz de aumentar a taxa de transferência em 50% em relação ao modelo regular, ou seja, aumentou a quantidade de dados que podem ser processados em um determinado período. Isso poderia potencialmente reduzir a latência em 35-75%, dependendo do tamanho do lote, acelerando assim o tempo para obter informação. Isso é possível por meio de um processo chamado quantização, que reduz o tamanho do modelo e os requisitos de memória para LLMs e, por sua vez, pode acelerar o processamento para ajudar a reduzir os custos e o consumo de energia.

A adição do Mixtral-8x7B expande a estratégia aberta e multimodelo da IBM para atender aos clientes onde eles estão e dar a eles escolha e flexibilidade para escalar soluções corporativas de IA em seus negócios. Através de décadas de pesquisa e desenvolvimento de IA, colaboração aberta com a Meta e a Hugging Face e parcerias com líderes de modelos, a IBM está expandindo seu catálogo de modelos watsonx.ai e oferecendo novos recursos, idiomas e modalidades.

De acordo com a empresa, as opções de modelo de nível de entrada prontas para empresas da IBM e sua plataforma de IA e dados watsonx podem capacitar os clientes a usar IA generativa para novos conhecimentos e eficiências e criar novos modelos de negócios com base em princípios de confiança.

O Mixtral-8x7B foi construído usando uma combinação de modelagem esparsa, uma técnica inovadora que encontra e usa apenas as partes mais essenciais dos dados para criar modelos mais eficientes, e a técnica Mix-of-Experts, que combina diferentes modelos especializados em resolver diferentes partes de um problema. O modelo Mixtral-8x7B é amplamente conhecido por sua capacidade de processar e analisar rapidamente grandes quantidades de dados para fornecer informações contextuais relevantes.

“Os clientes estão pedindo opções e flexibilidade para implementar modelos que melhor se adaptem a seus casos de uso exclusivos e requisitos de negócios”, disse Kareem Yusuf, Ph.D., vice-presidente sênior de Gerenciamento de Produtos e Crescimento de Software da IBM. “Ao oferecer o Mixtral-8x7B e outros modelos no watsonx, não estamos apenas dando a eles opções sobre como implementar IA, mas também capacitando um ecossistema robusto de construtores de IA e líderes de negócios com ferramentas e tecnologias para impulsionar a inovação em diversos setores e domínios”.

Nessa semana, a IBM também anunciou a disponibilidade do ELYZA-japanese-Llama-2-7b, um modelo de LLM japonês de código aberto da ELYZA Corporation, no watsonx. A IBM também oferece os modelos de código aberto da Meta, Llama-2-13B-chat e Llama-2-70B-chat, e outros modelos de terceiros no watsonx, com mais por vir nos próximos meses.