O Groq, o mais recente modelo de linguagem grande de inteligência artificial (IA) a entrar em cena, está conquistando as redes sociais com sua velocidade de resposta e uma nova tecnologia que pode dispensar a necessidade de GPUs para processamento de dados.

O Groq se tornou uma sensação da noite para o dia depois que seus testes públicos se tornaram virais na plataforma de rede social X, revelando que sua velocidade de computação e resposta supera o popular chatbot de IA da OpenAI, o ChatGPT.

A primeira demonstração pública usando o Groq: um mecanismo de respostas de IA extremamente rápido.

Ele escreve respostas factuais e citadas com centenas de palavras em menos de um segundo.

Mais de 3/4 do tempo é gasto na pesquisa, e não na geração!

O LLM é executado em uma fração de segundo.

— Matt Shumer (@mattshumer_)

Isso se deve ao fato de a equipe por trás do Groq ter desenvolvido seu próprio chip ASIC (Application Specific Integrated Circuit) personalizado para modelos de linguagem grande (LLMs), o que permite a geração de cerca de 500 tokens por segundo. Em comparação, o ChatGPT 3.5, a versão do modelo disponível publicamente, pode gerar cerca de 40 tokens por segundo. 

A Groq Inc., desenvolvedora desse modelo, afirma ter criado a primeira Unidade de Processamento de Linguagem (LPU) por meio da qual executa seu modelo, em vez das escassas e caras unidades de processamento gráfico (GPUs) normalmente usadas para executar outros modelos de IA.

Uau, foram muitos tweets hoje! Respostas das perguntas frequentes.
– Somos mais rápidos porque projetamos nosso chip e nossos sistemas
– É uma LPU, Unidade de Processamento de Linguagem (não uma GPU)
– Usamos modelos de código aberto, mas não os treinamos
– Estamos aumentando a capacidade de acesso semanalmente, fique atento

— Groq Inc (@GroqInc)

No entanto, a empresa por trás do Groq não é nova. Ela foi fundada em 2016, quando o nome do modelo, Groq, também foi registrado. Em novembro passado, quando o próprio modelo de IA de Elon Musk, chamado Grok – escrito com um k – estava ganhando força, os desenvolvedores por trás do Groq original publicaram uma postagem no blog da empresa criticando Musk pela escolha do nome:

“Podemos entender por que você quer adotar o nosso nome. Você gosta de coisas rápidas (foguetes, hyperloops, nomes de empresas com uma letra só) e nosso produto, o Groq LPU Inference Engine, é a maneira mais rápida de executar modelos de linguagem grande (LLMs) e outros aplicativos de IA generativa. No entanto, precisamos pedir que você escolha outro nome, e rápido.”

Desde que o Groq se tornou viral nas mídias sociais, nem Musk nem a página do Grok no X fizeram qualquer comentário sobre a semelhança entre o nome dos dois modelos.

No entanto, muitos usuários da plataforma começaram a fazer comparações entre o modelo LPU e outros modelos populares baseados em GPU.

Um usuário que trabalha com desenvolvimento de IA chamou o Groq de “divisor de águas” para produtos que exigem baixa latência, que se refere ao tempo necessário para processar uma solicitação e obter uma resposta.

Groq contra o GPT-3.5 lado a lado, experiência de usuário completamente diferente, um divisor de águas para produtos que exigem baixa latência

— Dina Yerlan (@dina_yrl)

Outro usuário escreveu que as LPUs do Groq poderiam oferecer uma “melhoria maciça” para as GPUs quando se trata de atender às necessidades dos aplicativos de IA no futuro e disse que também pode vir a ser uma boa alternativa para o “hardware de alto desempenho” dos chips A100 e H100 produzidos pela Nvidia. 

Isso ocorre em um momento em que os principais desenvolvedores de IA estão buscando desenvolver chips internamente, para não depender exclusivamente dos modelos produzidos pela Nvidia. 

Segundo informações, a OpenAI está buscando trilhões de dólares em financiamento de governos e investidores de todo o mundo para desenvolver seu próprio chip a fim de superar os problemas de escalabilidade de seus produtos.

LEIA MAIS