9621 Agnes Crossing, Lake Suzanneview, New Mexico Island 84604-9295.
A próxima grande disputa da inteligência artificial pode não ser apenas sobre quem consegue treinar os maiores modelos, mas sobre quem consegue fazê-los responder mais rápido. É nesse
A próxima grande disputa da inteligência artificial pode não ser apenas sobre quem consegue treinar os maiores modelos, mas sobre quem consegue fazê-los responder mais rápido.
É nesse mercado que a Nvidia está posicionando o Groq 3 LPX.
A empresa anunciou que o sistema entrou em produção completa e deve começar a operar ainda este ano na infraestrutura da Nebius, em conjunto com CPUs Vera e GPUs Rubin.
O lançamento é o primeiro grande resultado comercial da compra de ativos da Groq por US$ 20 bilhões em dezembro e mostra como Nvidia pretende transformar inferência de baixa latência em uma nova camada de sua plataforma de data centers.
Modelos tradicionais podem tolerar algum atraso entre uma pergunta e uma resposta.
Agentes de IA funcionam de forma diferente.
Eles podem executar sequências de tarefas, escrever e revisar código, consultar ferramentas e responder repetidamente ao usuário.
Cada etapa adiciona latência.
Se o modelo demora muito para gerar tokens, toda a experiência fica mais lenta.
Esse problema é especialmente evidente em programação, onde desenvolvedores esperam respostas quase imediatas durante o trabalho.
Dion Harris, diretor sênior da Nvidia, afirmou que plataformas que servem tokens podem criar níveis premium para usuários que exigem respostas mais rápidas.
Essa visão muda a forma como o mercado pode monetizar inferência.
Historicamente, provedores cloud cobravam principalmente por capacidade computacional.
Agora, velocidade de resposta pode se transformar em atributo comercial próprio.
Uma aplicação capaz de entregar resultados quase instantâneos pode cobrar mais de usuários corporativos ou clientes que dependem de operações sensíveis a tempo.
A arquitetura Groq possui cerca de 500 megabytes de SRAM diretamente no chip.
SRAM é muito rápida e ajuda a reduzir atrasos relacionados à movimentação de dados.
Essa característica é particularmente relevante durante inferência, quando o sistema precisa acessar informações repetidamente enquanto gera cada novo token.
Em vez de depender tanto de memória externa, parte importante dos dados pode permanecer muito mais próxima da unidade de processamento.
O resultado é um chip otimizado para velocidade de resposta.
A Nvidia instala 256 chips Groq 3 dentro de um único rack LPX.
Segundo benchmark da Artificial Analysis citado pela companhia, essa configuração consegue entregar cerca de 3.400 tokens por segundo.
Esse número é muito superior ao ritmo normalmente percebido por usuários em serviços convencionais de IA.
A importância prática depende do modelo e da aplicação, mas o benchmark reforça o posicionamento do produto como uma solução voltada para latência extremamente baixa.
Outro detalhe interessante é a fabricação.
Samsung produz os chips Groq, enquanto Taiwan Semiconductor Manufacturing Company fabrica as GPUs da Nvidia.
Essa divisão cria uma estrutura de fornecedores mais diversificada dentro do portfólio.
Para Nvidia, isso também significa que a expansão de Groq não depende exatamente da mesma cadeia produtiva utilizada para Rubin e outros aceleradores.
O impacto dessa diferença dependerá do volume futuro, mas ela pode se tornar relevante caso demanda por inferência especializada cresça rapidamente.
Apesar da velocidade elevada, Nvidia não está reposicionando Groq como substituto direto das GPUs.
GPUs continuam sendo muito mais flexíveis.
Elas podem treinar modelos, fazer inferência e se adaptar a diferentes arquiteturas.
Groq foi otimizado principalmente para a fase de decode.
Essa é a etapa em que um modelo já processou o contexto e passa a gerar sua resposta token por token.
É justamente nesse momento que velocidade se torna extremamente visível ao usuário.
A estratégia é semelhante ao que já aconteceu em outros segmentos de computação.
Em vez de usar um único tipo de chip para tudo, workloads são divididos entre processadores especializados.
CPUs podem cuidar de certas tarefas gerais.
GPUs executam treinamento e partes intensivas de inferência.
Groq pode assumir workloads onde geração rápida de tokens é prioridade.
Essa composição pode melhorar custo e desempenho ao mesmo tempo.
Durante o evento de março, Jensen Huang ofereceu uma indicação clara de como enxerga essa divisão.
Ele afirmou que destinaria cerca de um quarto do espaço de data center dedicado a aplicações de coding para chips Groq.
Os outros 75% permaneceriam essencialmente baseados em Vera Rubin.
Essa proporção mostra que Groq não é um produto marginal.
Em determinados workloads, Nvidia já considera que a arquitetura especializada pode ocupar uma parcela relevante da infraestrutura.
Programação é uma aplicação ideal para testar o valor de baixa latência.
Quando um modelo sugere código, completa uma função ou executa uma sequência de correções, desenvolvedores percebem imediatamente qualquer atraso.
Uma resposta que demora vários segundos quebra o fluxo de trabalho.
Quanto mais rápido o sistema responde, mais natural fica a interação.
Por isso, coding pode funcionar como primeiro mercado em que clientes aceitam pagar mais por performance de inferência.
Nvidia não terá esse segmento sozinha.
AMD anunciou integração de sistemas rack-scale com chips Cerebras.
A Cerebras, que recentemente abriu capital, também desenvolve soluções focadas em inferência de baixa latência.
OpenAI anunciou um modo Ultrafast que promete aproximadamente 750 tokens por segundo e utiliza Cerebras.
Esses movimentos mostram que velocidade já virou um campo competitivo importante.
Durante muito tempo, o mercado de chips de IA foi descrito quase exclusivamente através da participação da Nvidia em GPUs.
O avanço de Cerebras, Groq e outras arquiteturas muda essa análise.
O mercado passa a ter diferentes categorias.
Treinamento.
Prefill.
Decode.
Inferência massiva.
Inferência de baixa latência.
Agentes.
On-device.
Cada workload pode favorecer uma arquitetura diferente.
A aquisição da Groq também pode ser vista de forma defensiva.
Se chips especializados começarem a dominar a fase de decode, Nvidia corre o risco de perder parte do gasto de infraestrutura mesmo mantendo liderança absoluta em treinamento.
Comprar a tecnologia permite manter esse orçamento dentro de seu próprio ecossistema.
Em vez de um cliente usar GPUs Nvidia para uma parte e concorrentes para outra, a empresa pode oferecer os dois tipos de processamento.
A compra de ativos da Groq foi a maior aquisição já realizada pela Nvidia.
Isso coloca pressão sobre a capacidade de gerar retorno.
Um produto tecnicamente interessante não basta.
O mercado precisa ser grande.
Se inferência de baixa latência virar requisito padrão para agentes e coding, o potencial cresce rapidamente.
Se permanecer restrita a poucos workloads premium, a contribuição financeira pode ser menor.
O primeiro grande deployment anunciado ocorrerá na Nebius.
O neocloud utilizará Groq 3 LPX com Vera e Rubin.
Essa configuração permitirá avaliar o modelo híbrido que Nvidia está promovendo.
Se funcionar bem, outros provedores cloud podem adotar estruturas semelhantes.
O valor estratégico do lançamento está justamente em transformar a arquitetura de laboratório em infraestrutura operando para clientes reais.
Mesmo com a atenção em Groq, Vera Rubin continua no centro da estratégia.
Nvidia começou a aumentar os shipments dos sistemas este ano.
Na apresentação de março, Jensen Huang projetou US$ 1 trilhão em vendas acumuladas entre Blackwell e Vera Rubin até 2027.
Essa previsão coloca em perspectiva o papel relativo de Groq.
A nova arquitetura pode criar um mercado adicional, mas os grandes sistemas GPU continuam representando a maior parte da oportunidade.
Se baixa latência realmente permitir planos premium, a economia dos data centers pode mudar.
Provedores podem não cobrar apenas pelo número de tokens.
Podem cobrar pela rapidez com que esses tokens são entregues.
Isso cria diferenciação entre um serviço padrão e outro otimizado para tarefas interativas.
Para Nvidia, quanto mais tipos de serviço surgirem, mais oportunidades existem para vender hardware específico para cada nível.
A empresa divulgará resultados na quarta-feira.
Investidores naturalmente vão acompanhar demanda por Blackwell, Vera Rubin e infraestrutura de data centers.
Mas Groq adiciona uma nova pergunta.
Quanto de receita Nvidia acredita que pode capturar com inferência especializada?
O mercado também pode procurar sinais de novos clientes, capacidade de produção e velocidade de expansão dos racks LPX.
Esses dados serão importantes para avaliar o retorno potencial da aquisição.
Groq 3 LPX coloca a Nvidia em uma nova etapa da disputa por infraestrutura de IA.
A empresa já domina grande parte do treinamento e da computação geral com GPUs, mas agora quer controlar também os workloads em que velocidade de resposta é o principal requisito.
Com 256 chips por rack, benchmark de 3.400 tokens por segundo e implantação prevista na Nebius ainda este ano, a tecnologia começa a sair do estágio de aquisição e entrar no mercado comercial.
A verdadeira tese por trás de Groq não é substituir GPUs, mas impedir que a infraestrutura de IA se fragmente longe da Nvidia. Se agentes e aplicações de coding transformarem baixa latência em requisito essencial, clientes poderão combinar Rubin para workloads gerais e Groq para decode ultrarrápido. Isso permitiria à Nvidia capturar mais partes do mesmo data center e transformar velocidade de resposta em uma nova fonte de receita.
