O Google encontrou uma forma de tornar a IA local até 3x mais rápida—sem necessidade de novo hardware

Em resumo

• A Google lançou os rascunhos de Predição Multi-Tokens (MTP) para o Gemma 4, oferecendo até 3 vezes mais velocidade na inferência sem qualquer degradação na qualidade da saída.
• A técnica—chamada decodificação especulativa—utiliza um modelo “rascunho” leve para prever vários tokens de uma só vez, que o modelo principal então verifica em paralelo, contornando o gargalo de um token de cada vez.
• Os rascunhos MTP estão disponíveis no Hugging Face, Kaggle e Ollama sob a mesma licença Apache 2.0 do Gemma 4, e funcionam com ferramentas como vLLM, MLX e SGLang.

Executar um modelo de IA no seu próprio computador é ótimo—até que não seja. A promessa é privacidade, sem taxas de assinatura e sem dados saindo da sua máquina. A realidade, para a maioria das pessoas, é ver o cursor piscar por cinco segundos entre frases. Esse gargalo tem um nome: velocidade de inferência. E não tem nada a ver com quão inteligente é o modelo. É um problema de hardware. Modelos padrão de IA geram texto um fragmento de palavra—chamado token—de cada vez. O hardware precisa transferir bilhões de parâmetros da memória para suas unidades de computação só para produzir cada token. É lento por design. Em hardware de consumo, é doloroso.

A solução alternativa que a maioria recorre é rodar modelos menores e mais fracos—ou versões altamente comprimidas, chamadas modelos quantizados, que sacrificam alguma qualidade por velocidade. Nenhuma das soluções é ótima. Você consegue algo que roda, mas não é o modelo que realmente queria. Agora a Google tem uma ideia diferente. A empresa acabou de lançar os rascunhos de Predição Multi-Tokens (MTP) para sua família de modelos abertos Gemma 4—uma técnica que pode oferecer até 3 vezes mais velocidade sem alterar a qualidade ou a capacidade de raciocínio do modelo.

A abordagem é chamada decodificação especulativa, e existe como conceito há anos. Pesquisadores da Google publicaram o artigo fundamental em 2022. A ideia só ganhou destaque agora porque exigia a arquitetura certa para funcionar em escala.

Aqui está a versão resumida de como funciona. Em vez de fazer o modelo grande e poderoso fazer todo o trabalho sozinho, você o combina com um modelo “rascunho” minúsculo. O rascunho é rápido e barato—ele prevê vários tokens de uma só vez em menos tempo do que o modelo principal levaria para produzir apenas um. Depois, o grande modelo verifica todas essas suposições em uma única passagem. Se as previsões estiverem corretas, você obtém toda a sequência pelo preço de uma única passagem. Segundo a Google, “se o modelo alvo concordar com o rascunho, ele aceita toda a sequência em uma única passagem—e até gera um token adicional por conta própria nesse processo.” Nada é sacrificado: o grande modelo—como a versão densa de 31B do Gemma 4—ainda verifica cada token, e a qualidade da saída é idêntica. Você apenas aproveita o poder de computação ocioso que ficava parado durante as partes mais lentas.  A Google diz que os modelos rascunho compartilham o cache KV do modelo alvo—uma estrutura de memória que armazena o contexto já processado—para não perder tempo recalculando coisas que o modelo maior já sabe. Para os modelos menores, projetados para telefones e dispositivos Raspberry Pi, a equipe até criou uma técnica de agrupamento eficiente para reduzir ainda mais o tempo de geração. Essa não é a única tentativa do mundo da IA de paralelizar a geração de texto. Modelos de linguagem baseados em difusão—como Mercury da Inception Labs—tentaram uma abordagem completamente diferente: em vez de prever um token de cada vez, eles começam com ruído e refinam iterativamente toda a saída. Isso é rápido no papel, mas os LLMs de difusão têm dificuldade em igualar a qualidade dos modelos tradicionais de transformadores, deixando-os mais como uma curiosidade de pesquisa do que uma ferramenta prática. A decodificação especulativa é diferente porque não altera o modelo subjacente. É uma otimização de serviço, não uma substituição de arquitetura. O mesmo Gemma 4 que você já roda fica mais rápido. A vantagem prática é real. Um modelo Gemma 4 de 26B rodando numa GPU de mesa Nvidia RTX Pro 6000 consegue aproximadamente o dobro de tokens por segundo com o rascunho MTP ativado, segundo benchmarks próprios da Google. No Apple Silicon, tamanhos de lote de 4 a 8 solicitações desbloqueiam cerca de 2,2x de velocidade. Não é exatamente o limite de 3x em todos os cenários, mas ainda assim uma diferença significativa entre “quase inutilizável” e “realmente rápido o suficiente para funcionar.”

O contexto aqui é importante. Quando o modelo chinês DeepSeek chocou o mercado em janeiro de 2025—apagando US$ 600 bilhões do valor de mercado da Nvidia em um único dia—a lição principal foi que ganhos de eficiência podem ser mais impactantes do que pura capacidade de computação. Rodar de forma mais inteligente supera gastar mais hardware no problema. A MTP drafter da Google é mais um movimento nessa direção, mas voltado diretamente ao mercado de consumo. Toda a indústria de IA atualmente é um triângulo que considera inferência, treinamento e memória. Cada avanço em uma dessas áreas tende a impulsionar ou chocar todo o ecossistema. A abordagem de treinamento do DeepSeek (conseguir modelos poderosos com hardware de baixo nível) foi um exemplo, assim como o artigo da Google sobre TurboQuant (redução da memória de IA sem perder qualidade). Ambos fizeram os mercados despencarem enquanto as empresas tentavam entender o que fazer. A Google afirma que o rascunho desbloqueia “uma resposta mais rápida: reduz drasticamente a latência para chat quase em tempo real, aplicações de voz imersivas e fluxos de trabalho agenticos”—tarefas que exigem baixa latência para serem realmente úteis. Casos de uso entram em foco rapidamente: um assistente de codificação local que não trava; uma interface de voz que responde antes de você esquecer o que perguntou; um fluxo de trabalho agentico que não faz você esperar três segundos entre etapas. Tudo isso, com hardware que você já possui. Os rascunhos MTP estão disponíveis agora no Hugging Face, Kaggle e Ollama, sob a licença Apache 2.0. Eles funcionam com vLLM, MLX, SGLang e Hugging Face Transformers de fábrica.