URL inicial e escopo
Comece no site do projeto e siga links internos acessíveis dentro da capacidade e profundidade selecionadas.
- Escopo no nível do projeto
- Descoberta de URLs internas
- Inventário do rastreamento concluído
Ferramenta SEO Crawler para análise técnica de sites
Execute um rastreamento na nuvem e mapeie o site pelos links internos, sem verificar URLs uma a uma. Configure capacidade, profundidade, renderização JavaScript, concorrência e atraso das solicitações; depois analise os registros exatos de Pages, Links e Images por trás de cada padrão técnico.
TL;DR
Demasiado longo; não lido
Mostrar resumo Ocultar resumo
TL;DR
Demasiado longo; não lido
O que o SEO Crawler do Screpy faz?
O SEO Crawler do Screpy começa no site do projeto, segue links internos acessíveis dentro do escopo selecionado e cria inventários de Pages, Links e Images. A equipe pode configurar a descoberta e o ritmo das solicitações, inspecionar os registros por trás dos padrões técnicos, exportar dados filtrados e criar snapshots comparáveis depois de uma alteração no site.
Escopo e acesso
- O Screpy segue links internos acessíveis dentro da capacidade de URLs e da profundidade configuradas.
- O Screpy registra o status e o contexto de acesso para que uma resposta bloqueada não seja confundida com um problema de SEO on-page.
Controles de rastreamento
- Configure capacidade de URLs, profundidade de links e renderização JavaScript opcional para conteúdo do lado do cliente.
- Controle a concorrência e o atraso das solicitações quando o site precisa de um rastreamento mais lento.
Inventários técnicos
- Pages registra respostas, profundidade, redirecionamentos, canonicals, metadados, headings, indexabilidade e sinais da página.
- Links e Images relacionam destinos e recursos ao status, atributos, uso e páginas de origem rastreadas.
Verificação e exportações
- Cada rastreamento concluído é preservado como snapshot datado e pode ser comparado com outro de escopo equivalente.
- Filtros e exportações CSV ou Excel transformam registros em uma fila objetiva de implementação e verificação.
Controle o que o SEO crawler pode descobrir.
Um rastreamento útil começa com escopo e acesso explícitos. O Screpy permite adaptar descoberta, renderização, ritmo, relatórios e análises repetidas ao site investigado.
Capacidade máxima de URLs
Defina uma capacidade adequada ao site e ao plano e verifique se o rastreamento atingiu esse limite antes de interpretar a cobertura.
- Capacidade de URLs conforme o plano
- Contexto do limite de cobertura
- Cobertura interpretada contra o limite escolhido
Controle quantos níveis de links internos o Screpy segue a partir da página inicial e encontre URLs importantes escondidas na arquitetura.
- Profundidade registrada nas páginas rastreadas
- Investigação de páginas profundas
- Revisão da arquitetura
Renderização JavaScript
Renderize conteúdo do lado do cliente quando links ou elementos importantes não existirem na resposta HTML inicial.
- Rastreamento opcional de páginas renderizadas
- Descoberta de links no cliente
- Análise do conteúdo renderizado
Concorrência e atraso das solicitações
Ajuste a velocidade ao site em vez de aplicar o mesmo padrão a todo servidor ou aplicação.
- Controle de solicitações simultâneas
- Atraso configurável
- Rastreamento atento aos limites de taxa
Diferencie um achado de SEO de um rastreamento bloqueado verificando regras robots, firewalls, proteção contra bots, status e HTML retornado.
- Verificações de acesso do ScrepyBot
- Revisão do robots.txt
- Contexto de respostas bloqueadas ou desafiadas
Relatórios filtráveis
Passe do total do site às páginas, links e imagens exatos por trás de um padrão e exporte os registros filtrados para implementação.
- Inventários de Pages, Links e Images
- Filtros de problemas e registros
- Exportações CSV e Excel
Snapshots datados
Preserve cada rastreamento concluído, repita a análise com configurações comparáveis e verifique o que mudou após o deploy.
- Seleção de rastreamentos históricos
- Comparação antes e depois
- Revisão técnica recorrente
Inspecione cada URL descoberta como um registro de rastreamento.
Transforme um rastreamento concluído em um inventário de URLs filtrável. Analise status, destino final, profundidade, tempo de resposta, metadados, headings, canonical, indexabilidade, conteúdo, dados estruturados, tags sociais e outros sinais sem abrir cada URL manualmente.
Saiba mais sobre relatório pages- Filtre todo o inventário ou concentre-se em um padrão técnico
- Compare URLs representativas entre templates e seções
- Exporte os registros necessários para implementação
Relacione cada destino à página de origem.
Analise destinos internos e externos com status, anchor text, atributos, contagem de uso e páginas de origem. Uma URL quebrada ou redirecionada vira uma correção específica de navegação, conteúdo, template ou componente.
Saiba mais sobre relatório links- Encontre destinos que falharam ou foram redirecionados
- Rastreie cada destino até as páginas que o referenciam
- Separe arquitetura interna de referências externas
Revise a entrega das imagens junto com seu uso.
Agrupe fontes de imagens e analise status, texto alternativo, dimensões, atributos responsivos, carregamento, tipo de fonte e todas as páginas que usam o recurso antes de alterá-lo.
Saiba mais sobre relatório images- Encontre registros de imagens indisponíveis ou incompletos
- Revise alt text, dimensões, srcset, sizes e carregamento
- Relacione recursos repetidos às páginas de origem
Crie uma base, altere o site e rastreie novamente.
Trate cada rastreamento como um snapshot datado. Após um deploy, migração, mudança de navegação ou correção técnica, repita a análise com configurações comparáveis e verifique o padrão afetado, sem depender de um total que muda sozinho.
Saiba mais sobre snapshots de rastreamento- Selecione rastreamentos históricos sem alterar resultados concluídos
- Compare escopos equivalentes antes e depois do deploy
- Separe mudanças reais de configurações diferentes
Transforme um rastreamento em evidência verificável.
Mantenha o escopo visível, inspecione os registros por trás de cada padrão, corrija a implementação e use o próximo rastreamento para confirmar o resultado.
- 01
Defina o rastreamento antes de interpretá-lo
Confirme URL inicial, capacidade, profundidade, modo JavaScript, concorrência, atraso, regras robots e acesso do crawler. Essas configurações determinam o que o snapshot pode representar.
- 02
Deixe os links internos revelarem a estrutura
O Screpy segue caminhos internos acessíveis e registra cada URL, resposta, profundidade, destino, relação do link e dados de página ou imagem dentro do escopo.
- 03
Filtre os registros exatos por trás do padrão
Use os relatórios Pages, Links e Images para passar do total a URLs representativas, páginas de origem, redirecionamentos, metadados, canonicals ou uso de imagens antes de escolher uma correção.
- 04
Publique a correção e crie um snapshot comparável
Execute outro rastreamento depois das mudanças. Mantenha escopo e configurações comparáveis e verifique se as URLs pretendidas mudaram pelo motivo correto.
Use o crawler antes e depois de mudanças estruturais.
Os dados de rastreamento são mais úteis quando a equipe sabe o que mudou. Crie uma base antes de um trabalho de risco e um snapshot comparável depois do lançamento.
Migrações e mudanças de URL
Registre URLs importantes, redirecionamentos, destinos finais, canonicals e caminhos internos antes do lançamento e rastreie a nova estrutura com o mesmo escopo.
Sites e aplicações JavaScript
Use a renderização JavaScript quando a navegação ou o conteúdo relevante é criado no navegador e confirme que as URLs aparecem no inventário.
Links internos e arquitetura
Revise profundidade, páginas de origem, anchors, atributos e caminhos repetidos para encontrar conteúdo importante com conexão fraca.
Monitoramento de releases e templates
Rastreie novamente após mudanças de rotas, navegação, CMS, templates e componentes para encontrar regressões técnicas repetidas.
Compare Screpy com Screaming Frog quando modelo de deploy, controles, extração, monitoramento, acesso da equipe e relatórios influenciam a decisão.
Escolha dados brutos ou uma auditoria priorizada
Use o SEO Crawler para mapear caminhos e inspecionar registros de páginas, links e imagens. Use o Website Audit quando precisar de achados agrupados, prioridades e um fluxo técnico mais amplo.
Configure um rastreamento na nuvem, mapeie URLs alcançáveis e analise os registros brutos de Pages, Links e Images.
Transforme um rastreamento em achados agrupados, padrões de URLs, prioridades, exportações e um fluxo repetível de correção e verificação.
Aplique as evidências ao modelo de site que você opera.
Templates compartilhados e conjuntos de URLs que mudam criam riscos diferentes para sites SaaS e catálogos de ecommerce.
Analise landing pages, documentação, templates compartilhados e regressões de release como uma única superfície de aquisição.
Audite categorias e produtos, caminhos de compra quebrados e mudanças estruturais do catálogo.
Documentação do Screpy
Aprenda a rastrear seu site
Use os guias do Screpy para configurar o escopo, permitir o acesso do crawler, interpretar os relatórios Pages, Links e Images e diagnosticar resultados incompletos.
Perguntas sobre SEO crawlers, respondidas.
Entenda descoberta, escopo, renderização JavaScript, acesso, ritmo, relatórios, snapshots e a diferença entre dados de rastreamento e auditoria.
O que é um SEO crawler?
Um SEO crawler começa em uma URL, segue links internos acessíveis dentro de um escopo definido e registra informações técnicas das páginas e recursos alcançados. O inventário ajuda a investigar descoberta, códigos de resposta, redirecionamentos, canonicals, links internos, metadados, imagens e padrões repetidos.
Qual é a diferença entre um SEO crawler e uma auditoria de site?
O SEO crawler cria o inventário técnico de URLs, respostas, caminhos, dados, links, imagens e contexto. O Website Audit interpreta esse rastreamento em achados agrupados, padrões afetados, prioridades e um fluxo de correção. Use o crawler para descoberta e registros brutos; use a auditoria para uma revisão de saúde priorizada.
Como o Screpy descobre páginas?
O Screpy começa no site do projeto e segue links internos acessíveis dentro da capacidade e profundidade configuradas. Uma página pode faltar se não tiver links, estiver além da profundidade, for bloqueada, redirecionar para fora do host, depender de JavaScript ou retornar conteúdo inutilizável.
O Screpy rastreia sites JavaScript?
Sim. Há uma configuração opcional de JavaScript para sites cujo conteúdo ou links importantes são criados no navegador. A renderização não ignora regras robots, autenticação, firewalls, desafios de bot, timeouts ou o escopo definido.
O Screpy pode rastrear um site protegido ou bloqueado?
O crawler precisa receber a página real sem login, CAPTCHA, desafio do navegador, bloqueio de firewall ou rejeição por limite de taxa. Permita o ScrepyBot e os IPs documentados do crawler em cada camada de segurança, confirme o acesso ao robots.txt e verifique se uma resposta bem-sucedida contém o HTML real da página.
O que controlam o máximo de URLs e a profundidade?
O máximo de URLs limita quantas URLs descobertas o rastreamento pode armazenar. A profundidade limita quantos níveis de links internos são seguidos a partir da página inicial. Aumentar esses valores não corrige acesso bloqueado, links ausentes, redirecionamentos, limites de taxa ou respostas inutilizáveis.
O que aparece nos relatórios Pages, Links e Images?
Pages registra respostas, profundidade, metadados, headings, canonical, indexabilidade, conteúdo, dados estruturados e sinais sociais. Links relaciona destinos, status, anchors, atributos, uso e páginas de origem. Images agrupa fontes com status, alt text, dimensões, atributos de entrega e uso nas páginas.
O crawler encontra links quebrados e redirecionamentos?
Sim. O relatório Links identifica destinos com falha ou redirecionados e mostra as páginas rastreadas que os referenciam, oferecendo uma origem específica para corrigir.
Posso controlar a velocidade do rastreamento?
Sim. A concorrência controla quantas solicitações são executadas ao mesmo tempo e o atraso adiciona tempo entre elas. Reduza a concorrência ou aumente o atraso quando o host limitar tráfego automatizado.
Posso comparar resultados ao longo do tempo?
Sim. Cada rastreamento concluído é um snapshot datado. Execute outro após um deploy ou correção e compare snapshots com escopo e configurações equivalentes.
Preciso de um crawler se já uso o Google Search Console?
Eles respondem perguntas diferentes. O Search Console mostra desempenho e alguns dados de indexação; o crawler segue proativamente os links internos e cria um inventário técnico para investigação.
Corrigir todos os achados garante posições maiores?
Não. Os dados ajudam a descobrir e verificar condições técnicas, mas posições também dependem de relevância, qualidade, autoridade, concorrência, demanda e indexação.
Mapeie o site antes da próxima mudança técnica.
Crie uma base, inspecione URLs e caminhos de origem por trás de cada padrão e retorne depois do deploy para verificar o que mudou.