A Apple está desenvolvendo vários modelos de inteligência artificial generativa e está gastando milhões de dólares por dia em computação de treinamento de IA generativa.

O The Information informou que a equipe de IA de conversação, chamada Foundational Models, é composta por apenas 16 pessoas. Há também duas outras equipes relativamente novas na empresa desenvolvendo modelos de linguagem ou imagem.

Os esforços de IA são liderados por John Giannandrea, que ingressou em 2018 como vice-presidente sênior de aprendizado de máquina e estratégia de inteligência artificial após um longo período no Google. Dentro do grupo mais amplo de IA, a equipe de Modelos Fundamentais é liderada por Ruoming Pang, que ingressou na empresa em 2021 após passar 15 anos no Google.

O grupo desenvolveu vários modelos avançados, incluindo um chatbot de modelo de linguagem grande (LLM) que poderia interagir com os clientes que usam o AppleCare, o serviço pós-venda da empresa para garantia e suporte técnico.

No entanto, Giannandrea expressou dúvidas aos colegas sobre a utilidade dos chatbots alimentados por modelos de linguagem de IA, informou o The Information. Essa opinião começou a mudar no último ano.

A equipe da Siri quer usar LLMs separados no seu assistente de voz e está desenvolvendo vários modelos. A empresa acredita que seu GPT Ajax pode fazer mais do que o GPT 3.5 da OpenAI, o LLM que alimentou a versão inicial do ChatGPT. No entanto, desde então, a OpenAI lançou modelos mais avançados.

Como Giannandrea e Pang vieram do Google, eles ajudaram a convencer a Apple a usar o Google Cloud, especialmente fazendo uso dos seus chips de unidade de processamento de tensor (TPU) personalizados para treinamento de aprendizado de máquina. O AXLearn, uma estrutura de aprendizado de máquina desenvolvida para treinar o Ajax GPT, foi baseado em parte na pesquisa de Pang e é otimizado para TPU.