Crawl budget: o custo real de página que nunca entra na extração

Rastreado não é sinônimo de citado

Existe uma distinção formal, com nome próprio no mercado técnico de 2026, entre duas etapas que a maioria confunde como uma coisa só: “Crawled, Not Cited” — rastreado, mas não citado. Rastreamento e citação são eventos separados, governados por critério completamente diferente. O robô — de busca tradicional ou de IA — passar pela sua página não garante nada sobre o que acontece depois: se o conteúdo será considerado relevante o bastante, específico o bastante, ou confiável o bastante pra virar resposta.

O robô de IA generativa opera sob um orçamento de atenção finito. Não existe capacidade infinita de processar cada URL de cada site — pesquisa de mercado de junho de 2026 (Gupta Deepak) descreve isso como a regra que organiza tudo o mais: uma página que não é rastreada não pode ser indexada, e uma página que não é indexada não pode ser selecionada, citada ou resumida por nenhuma experiência de IA. Orçamento de rastreamento é a alavanca a montante da visibilidade em IA.

Cem páginas que nunca entram roubam atenção de quem entraria

Aqui está o custo real, e ele não é abstrato: quando um site expõe volume grande de URL de baixo valor — duplicata, página facetada, parâmetro infinito, conteúdo raso — o robô gasta parte do orçamento finito dele processando esse material, e sobra menos atenção pras páginas que realmente teriam chance de aparecer numa resposta gerada. A mesma pesquisa nomeia esse efeito como “starving” — as páginas de valor real ficam, literalmente, esfomeadas de atenção de rastreamento, não porque sejam ruins, mas porque o orçamento inteiro já foi consumido nas outras cem que nunca vão gerar retorno nenhum.

Isso explica por que cem página presas em “rastreado, nunca extraído” não é neutro — é prejuízo ativo pro resto do site. Cada ciclo de rastreamento que o robô gasta ali é ciclo que não sobra pra atualizar, redescobrir ou revalidar a página que de fato importa.

Página presa nesse padrão também é sinal de diagnóstico, não só de custo

Existe uma segunda camada nisso que vale registrar: página rastreada repetidamente mas nunca indexada ou citada, na maioria dos casos, não é falta de sorte — é o próprio dado de rastreamento contando algo sobre qualidade de conteúdo. Guia de otimização de rastreamento de 2026 resume bem: “seu dado de rastreamento está te dizendo algo sobre qualidade de conteúdo, preste atenção nisso”. Página presa nesse padrão merece diagnóstico específico — profundidade de clique excessiva, conteúdo fino demais, ou ausência de claim extraível — antes de simplesmente pedir mais rastreamento.

E o valor de corrigir isso é mensurável, não hipotético: uma análise de 17 milhões de citação de IA encontrou que URL citada por IA é, em média, 25,7% mais recente que o resultado orgânico correspondente no Google pra mesma consulta (Frase, 2026). O sistema de IA generativa pesa frescor de forma mais agressiva que busca tradicional — e frescor só conta se a página estiver, antes de tudo, dentro do orçamento de atenção que o robô consegue gastar nela.

Corrigir o desperdício é a primeira alavanca, não a última