Como uma página é descoberta e rastreada novamente

Há três perguntas distintas aqui, e elas têm três respostas diferentes: como um rastreador encontra uma página, com que rapidez ele aprende que a página mudou e o que você pode ver sobre o resultado. Esta página responde às três com os temporizadores reais.

Como um rastreador encontra uma página afinal?#

Duas vias baseadas em pull, ambas automáticas:

1. O mapa do site. Cada proprietário recebe um sitemap.xml listando todas as páginas de cada repositório indexado, além de uma entrada por localidade genuinamente traduzida. Ele é servido no próprio host do site e reconstruído no máximo uma vez por hora.
2. robots.txt o nomeia. Cada host hospedado pelo Docsbook fornece um robots.txt com uma linha Sitemap: apontando para o mapa do site pertencente a esse host. O domínio raiz carrega vários: o próprio, um por site de documentação de produto e um por site público de demonstração com o SEO ativado — porque esses sites só podem ser acessados a partir do domínio raiz, portanto nada mais apontaria um rastreador para eles.

Além disso, a barra lateral é renderizada como links HTML reais em todas as páginas, portanto todo rastreamento de qualquer página também é um rastreamento do mapa do seu conteúdo.

Com que rapidez uma alteração chega a um mecanismo?#

Envio. Quando uma alteração é publicada pelo Docsbook — pelo editor, por um agente, pelas ferramentas MCP ou por uma alteração nas configurações do workspace — o Docsbook invalida imediatamente os próprios caches desse site e, para sites hospedados no apex docsbook.io, também envia uma notificação do IndexNow indicando a raiz do site e o respectivo sitemap. Essa chamada é do tipo fire-and-forget: ela indica duas URLs, em vez das páginas alteradas (nesse momento, só se sabe que "este site foi alterado", e o sitemap permite que um mecanismo participante determine os detalhes), nunca bloqueia nem faz a publicação falhar, e uma interrupção do IndexNow é registrada em log, em vez de ser exibida.

Busca. Todo o restante aguarda o retorno de um crawler para reler o sitemap.

E a parte honesta: o Docsbook não tem um webhook do GitHub. Um commit enviado diretamente para o seu repositório, ignorando o Docsbook, não aciona nenhuma invalidação nem envio pelo IndexNow. Ele é processado por temporizadores:

Assim, uma página editada no Docsbook fica atualizada para o próximo crawler em questão de segundos; uma página enviada diretamente ao GitHub pode ser servida do cache por até 24 horas. O intervalo de 24 horas é uma compensação deliberada: os crawlers que renderizavam novamente todas as páginas a cada hora representavam o maior custo individual da hospedagem, e as páginas de documentação são lidas com muito mais frequência do que são escritas.

O que acontece quando uma página é renomeada?#

Uma movimentação feita por meio do Docsbook grava o caminho antigo da página → o novo caminho da página em um .docsbook/redirects.json arquivo no mesmo commit da movimentação, e a URL antiga então responde com um redirecionamento permanente 308 para a nova. Permanente, não temporário, porque um redirecionamento temporário informa aos mecanismos de busca para manter a URL morta como a canônica — o que perde exatamente a classificação que o redirecionamento existe para preservar. O mapa contém até 500 entradas, descartando primeiro as mais antigas, e só é consultado para solicitações que já estavam a caminho de um 404.

Uma renomeação feita ao mover o arquivo por conta própria no git não recebe nenhum redirecionamento: nada gravou o mapa. Você pode adicionar a entrada manualmente — ele é um arquivo simples no seu repositório, e ambos os lados são caminhos de páginas, aquilo que aparece em uma URL.

O que a integração com o Search Console realmente faz?#

Ela lê. Os dados fluem em uma única direção, do Google → Docsbook, por meio do escopo somente leitura do Search Analytics. O Docsbook não envia URLs, solicita indexação nem grava nada na sua conta do Search Console, e não há nada para você conectar: o Docsbook lê uma propriedade de domínio do Search Console em docsbook.io, que, por definição do Google, "agrega dados de todos os subdomínios, protocolos e subcaminhos", e filtra as linhas para manter as URLs que pertencem ao seu site.

O que aparece no painel de administração: posição média, impressões, cliques, as consultas para as quais suas páginas estão ranqueadas, uma tendência diária e um conjunto de consultas que "vale a pena melhorar" — consultas que estão na posição 5–20, já visíveis e que ainda não estão vencendo. Janelas de 7, 28 e 30 dias; 7 é o padrão porque apenas 30 dias de histórico são mantidos, então é a única janela com um período equivalente anterior para comparação.

Três limitações são mostradas em vez de ocultadas. Os dados do Google têm um atraso de cerca de dois dias, portanto uma data de "dados até" está sempre visível. Uma atualização é permitida uma vez a cada 24 horas, porque o próprio Google atualiza os dados diariamente e uma segunda consulta consumiria cota para retornar números idênticos. E os totais principais são agregados a partir da granularidade de página, não pela soma das linhas de consulta: o Google omite consultas de baixo volume por motivos de privacidade, portanto o detalhamento por consulta abrange apenas uma fração do tráfego real. Nossa própria medição, na propriedade de documentação do próprio Docsbook: 91 impressões quando totalizadas por consulta, contra 413 quando totalizadas por página. Esse é um site em um dia e o dado é citado para mostrar a direção da diferença, não o tamanho dela no seu caso.

Por que estes mecanismos (evidências)#

Limites e questões em aberto#

• O IndexNow não é enviado atualmente para sites de clientes. O protocolo exige que todos os URLs em uma submissão compartilhem um único host e exige um arquivo de chave na raiz desse host. O Docsbook hospeda essa chave apenas no domínio raiz docsbook.io, portanto os envios são feitos para a própria documentação do Docsbook e para sites de demonstração no domínio raiz — não para sites <owner>.docsbook.io e não para domínios personalizados. Hospedar chaves por locatário é uma tarefa separada e ainda não foi implementada.
• Em questão: quão rápido o IndexNow realmente é. O comentário no código do Docsbook diz "em minutos, em vez de esperar pelo próximo rastreamento programado". A própria FAQ do IndexNow apenas afirma que ele "aumenta a probabilidade de que mudanças importantes sejam descobertas e rastreadas mais rapidamente", evitando mencionar um prazo. Considere minutos uma esperança, não uma medição — não publicamos nenhuma.
• O Google não participa do IndexNow. O indexnow.org menciona que o suporte vem de "Microsoft Bing, Naver, Seznam.cz, Yandex, Yep" — cinco mecanismos, e o Google não está entre eles, nessa página ou na documentação do protocolo. A descoberta pelo Google ainda funciona com base no sitemap e no rastreamento comum.
• Em questão: quão secreta é a chave do IndexNow. O Docsbook trata a chave como um identificador público — ela está incorporada diretamente e visível, e o arquivo de chave é servido sem autenticação na raiz do domínio, que é o que a FAQ exige ("nenhum login necessário", para que um mecanismo de pesquisa possa "confirmar a propriedade do domínio"). O que contradiz a interpretação de que "ela não é um segredo" é a própria página de protocolo do IndexNow, que diz "Somente você e os mecanismos de pesquisa devem conhecer a chave e a localização do arquivo de chave do seu domínio". Ambas as afirmações não podem ser totalmente verdadeiras para um arquivo que qualquer cliente pode buscar. O que a chave pode fazer se for copiada é limitado — ela diz "este host foi alterado", nada mais — mas considere "pública por construção" como nossa interpretação de um protocolo que não afirma isso.
• A cobertura do Search Console termina nos hosts hospedados pelo Docsbook. A propriedade de domínio cobre docsbook.io e seus subdomínios. Um site em seu próprio domínio personalizado não está nessa propriedade, portanto nenhuma posição é lida para ele. Para disponibilizar esses números seria necessário um fluxo de autorização do Google por cliente, que ainda não existe — enquanto isso, use sua própria conta do Search Console para um domínio personalizado.
• O histórico do Search Console aqui é de 30 dias. O Google mantém consideravelmente mais dados; o Docsbook armazena uma janela móvel de 30 dias por site, e é por isso que a visualização de 30 dias não tem um período de comparação.
• Nada aqui faz uma página alcançar uma posição. A descoberta e o novo rastreamento são as partes que o Docsbook pode automatizar. A decisão sobre a posição de uma página rastreada cabe ao Google, com base no seu conteúdo, e nenhum temporizador nesta página muda isso.

Relacionado#

• SEO — o que o Docsbook faz pela visibilidade nas pesquisas
• Como o Docsbook constrói o cabeçalho de uma página
• Análises
• GEO — ser citado por assistentes de IA
• Traduções por IA