Start-URL und Crawl-Umfang
Bei der Projektwebsite beginnen und zugängliche interne Links innerhalb von Kapazität und Tiefe verfolgen.
- Projektweiter Umfang
- Interne URL-Entdeckung
- Abgeschlossenes Inventar
SEO-Crawler für technische Websiteanalyse
Cloud-Crawl ausführen und Website über interne Links abbilden, statt URLs einzeln zu prüfen. Kapazität, Tiefe, JavaScript-Rendering, Parallelität und Anfrageverzögerung konfigurieren und anschließend Pages-, Links- und Images-Datensätze hinter jedem Muster prüfen.
TL;DR
Zu lang; nicht gelesen
Zusammenfassung anzeigen Zusammenfassung ausblenden
TL;DR
Zu lang; nicht gelesen
Was macht Screpy SEO-Crawler?
Screpy SEO-Crawler startet bei der Projektwebsite, folgt zugänglichen internen Links im gewählten Umfang und erstellt Inventare für Pages, Links und Images. Teams konfigurieren Discovery und Anfrageverhalten, prüfen Datensätze hinter technischen Mustern, exportieren gefilterte Daten und erstellen nach Änderungen vergleichbare Crawl-Snapshots.
Umfang und Zugriff
- Zugängliche interne Links innerhalb von Kapazität und Tiefe verfolgen
- Crawl-Status und Zugriffskontext speichern
- Blockierung nicht mit On-Page-Fehler verwechseln
Crawl-Steuerung
- URL-Kapazität Linktiefe und optionales JavaScript-Rendering konfigurieren
- Parallelität und Anfrageverzögerung für langsameres Crawling anpassen
Technische Inventare
- Pages mit Antworten Tiefe Redirects Canonicals Metadaten Überschriften Indexierbarkeit und Signalen
- Links und Images mit Status Attributen Nutzung und Quellseiten verbinden
Prüfung und Exporte
- Jeden abgeschlossenen Crawl als datierten Snapshot speichern
- Vergleich mit späterem Crawl bei gleichem Umfang
- Filter und CSV- oder Excel-Exporte als Umsetzungswarteschlange nutzen
Steuern, was der SEO-Crawler entdecken kann.
Ein nützlicher Crawl braucht klaren Umfang und Zugriff. Discovery, Rendering, Anfragegeschwindigkeit, Berichte und Wiederholung an die untersuchte Website anpassen.
Maximale URL-Kapazität
Kapazität passend zu Website und Plan setzen und prüfen, ob der Crawl das Limit erreicht hat.
- Planabhängige Kapazität
- Kontext der Abdeckungsgrenze
- Abdeckung gegen Limit einordnen
Anzahl interner Linkebenen ab Startseite steuern und tief liegende wertvolle URLs erkennen.
- Tiefe je Seite gespeichert
- Tiefenseiten untersuchen
- Architektur prüfen
JavaScript-Rendering
Clientseitige Inhalte rendern, wenn wichtige Links oder Elemente nicht im ersten HTML existieren.
- Optionales Rendering
- Clientseitige Linkentdeckung
- Analyse gerenderter Inhalte
Parallelität und Anfrageverzögerung
Crawl-Geschwindigkeit an Website statt an einheitliches Servermuster anpassen.
- Parallele Anfragen steuern
- Verzögerung konfigurieren
- Ratenlimits berücksichtigen
SEO-Befund von blockiertem Crawl durch Robots-Regeln, Firewall, Bot-Schutz, Status und HTML unterscheiden.
- ScrepyBot-Zugriff prüfen
- robots.txt prüfen
- Blockierungs- oder Challenge-Kontext
Filterbare Crawl-Berichte
Von Sitewide-Summe zu exakten Pages-, Links- und Images-Datensätzen wechseln und gefilterte Daten exportieren.
- Pages-
- Links- und Images-Inventare
- Problem- und Datensatzfilter
- CSV- und Excel-Exporte
Datierte Crawl-Snapshots
Abgeschlossene Crawls speichern, mit vergleichbaren Einstellungen wiederholen und Änderungen nach Deployment verifizieren.
- Historische Crawls
- Vorher-Nachher-Vergleich
- Wiederholbare technische Prüfung
Jede entdeckte URL als Crawl-Datensatz prüfen.
Abgeschlossenen Crawl in ein filterbares URL-Inventar verwandeln und Status, Ziel, Tiefe, Antwortzeit, Metadaten, Überschriften, Canonical, Indexierbarkeit, Content und strukturierte Daten prüfen.
Mehr erfahren über pages-bericht- Inventar filtern oder technisches Muster fokussieren
- URLs über Templates vergleichen
- Exakte Seitendatensätze exportieren
Ziele auf jede Quellseite zurückführen.
Interne und externe Ziele mit Status, Anker, Attributen, Nutzung und Quellseiten prüfen. Fehlerhafte oder umgeleitete URL wird zu konkretem Navigations-, Content-, Template- oder Komponentenfix.
Mehr erfahren über links-bericht- Fehlerhafte und umgeleitete Ziele finden
- Ziele auf referenzierende Seiten zurückführen
- Interne Architektur von externen Verweisen trennen
Bildauslieferung zusammen mit Seitennutzung prüfen.
Gecrawlte Bildquellen gruppieren und Status, Alt-Text, Abmessungen, responsive Attribute, Laden, Quelltyp und jede verwendende Seite prüfen.
Mehr erfahren über images-bericht- Nicht verfügbare oder unvollständige Bilddatensätze finden
- Alt-Text Abmessungen srcset sizes und Laden prüfen
- Wiederholte Assets auf Quellseiten zurückführen
Basis erstellen, Website ändern und erneut crawlen.
Jeden abgeschlossenen Crawl als datierten Snapshot behandeln. Nach Release, Migration, Navigation oder technischem Fix mit vergleichbaren Einstellungen wiederholen und URL-Muster verifizieren.
Mehr erfahren über crawl-snapshots- Historische Crawls ohne Änderung auswählen
- Gleichen Umfang vor und nach Deployment vergleichen
- Websiteänderung von anderer Konfiguration trennen
Einen Crawl in prüfbare Belege verwandeln.
Umfang sichtbar halten, Datensätze hinter einem Muster prüfen, Ursache beheben und nächsten Crawl zur Bestätigung verwenden.
- 01
Crawl vor der Interpretation definieren
Start-URL, Kapazität, Tiefe, JavaScript, Parallelität, Verzögerung, Robots-Regeln und Zugriff bestätigen. Diese Einstellungen bestimmen den Snapshot.
- 02
Interne Links die Struktur zeigen lassen
Zugängliche Pfade verfolgen und URL, Antwort, Tiefe, Ziel, Linkbeziehung und Seiten- oder Bilddaten im Umfang speichern.
- 03
Exakte Datensätze hinter dem Muster filtern
Pages, Links und Images von Summen zu repräsentativen URLs, Quellen, Redirects, Metadaten, Canonicals oder Bildnutzung öffnen.
- 04
Fix veröffentlichen und Snapshot vergleichen
Nach Änderung erneut crawlen, Umfang und Einstellungen vergleichbar halten und betroffene URLs sowie Muster verifizieren.
Crawler vor und nach strukturellen Websiteänderungen nutzen.
Crawl-Daten helfen am meisten, wenn das Team weiß, was geändert wurde. Vor riskanter Arbeit Basis und danach vergleichbaren Snapshot erstellen.
Migrationen und URL-Änderungen
Wichtige URLs, Redirects, Ziele, Canonicals und interne Pfade vor dem Launch speichern und neue Struktur gleich crawlen.
JavaScript-Websites und Anwendungen
Rendering nutzen, wenn Navigation oder Content im Browser entsteht, und URLs im Inventar bestätigen.
Interne Verlinkung und Architektur
Tiefe, Quellen, Anker, Attribute und Navigationspfade prüfen und schwach verbundene Inhalte finden.
Release- und Template-Monitoring
Nach Routing-, Navigation-, CMS-, Template- und Komponentenänderungen erneut crawlen, um Regressionen zu erkennen.
Screpy mit Screaming Frog vergleichen, wenn Bereitstellung, Controls, Extraktion, Monitoring, Teamzugriff und Reporting zählen.
Rohdaten oder priorisiertes Website-Audit wählen
SEO-Crawler für Discovery-Pfade und Pages-, Links- und Images-Datensätze nutzen; Website Audit für gruppierte Befunde und Prioritäten.
Cloud-Crawl konfigurieren, erreichbare URLs abbilden und Rohdaten hinter technischen Mustern prüfen.
Crawl in gruppierte Befunde, URL-Muster, Prioritäten, Exporte und verifizierbaren Fix-Workflow verwandeln.
Crawl-Belege auf das betriebene Website-Modell anwenden.
Gemeinsame Templates und wechselnde URL-Mengen erzeugen unterschiedliche Risiken für SaaS- und E-Commerce-Websites.
Landingpages, Dokumentation, gemeinsame Templates und Release-Regressionen als Akquisitionsfläche prüfen.
Kategorien, Produktseiten, fehlerhafte Kaufpfade und Katalogänderungen auditieren.
Screpy-Dokumentation
Website crawlen lernen
Screpy-Leitfäden zu Crawl-Umfang, Crawler-Zugriff, Pages-, Links- und Images-Berichten und unvollständigen Ergebnissen nutzen.
Fragen zum SEO-Crawler.
Discovery, Umfang, JavaScript-Rendering, Zugriff, Anfragegeschwindigkeit, Berichte, Snapshots und Unterschied zum Website-Audit verstehen.
Was ist ein SEO-Crawler?
Ein SEO-Crawler startet bei einer Website-URL, folgt zugänglichen internen Links im definierten Umfang und speichert technische Informationen zu erreichten Seiten und Ressourcen. Das Inventar hilft bei Pfaden, Statuscodes, Redirects, Canonicals, Links, Metadaten, Bildern und wiederholten Mustern.
Unterschied zwischen SEO-Crawler und Website-Audit?
Der SEO-Crawler erstellt das technische Inventar mit URLs, Antworten, Pfaden, Seitendaten, Links, Bildern und Kontext. Website-Audit interpretiert diesen Crawl als gruppierte Befunde, Muster, Prioritäten und Fix-Workflow.
Wie entdeckt Screpy Seiten?
Screpy startet bei der Projektwebsite und folgt zugänglichen internen Links innerhalb von Kapazität und Tiefe. Eine Seite kann fehlen, wenn sie nicht verlinkt, zu tief, blockiert, außerhalb des Hosts umgeleitet, JavaScript-abhängig oder unbrauchbar ist.
Kann Screpy JavaScript-Websites crawlen?
Ja. Optionales Rendering hilft bei Links oder Content, die im Browser entstehen, umgeht aber keine Robots-Regeln, Authentifizierung, Firewalls, Bot-Challenges, Timeouts oder den Crawl-Umfang.
Kann Screpy eine geschützte oder blockierte Website crawlen?
Der Crawler benötigt die echte Seite ohne Login, CAPTCHA, Browser-Challenge, Firewallblock oder Ratenlimit. ScrepyBot und dokumentierte Crawler-IP erlauben, robots.txt prüfen und echtes HTML bestätigen.
Was steuern maximale URLs und Crawl-Tiefe?
Maximale URLs begrenzen gespeicherte Entdeckungen; Tiefe begrenzt interne Linkebenen. Höhere Werte beheben keine Blockierung, fehlenden Links, Redirects, Ratenlimits oder unbrauchbare Antworten.
Was enthalten Pages-, Links- und Images-Berichte?
Pages speichert URL, Antwort, Tiefe, Metadaten, Überschriften, Canonical, Indexierbarkeit, Content und strukturierte Daten. Links verbindet Ziele mit Status, Ankern, Attributen, Nutzung und Quellen. Images gruppiert Quellen mit Status, Alt-Text, Abmessungen und Seitennutzung.
Findet der Crawler fehlerhafte Links und Redirectpfade?
Ja. Der Links-Bericht zeigt fehlerhafte oder umgeleitete Ziele und führt sie zu den Quellseiten zurück, damit konkrete Quellen, Komponenten oder Templates korrigiert werden können.
Kann ich Crawl-Geschwindigkeit steuern?
Ja. Parallelität bestimmt gleichzeitige Requests, Verzögerung fügt Zeit dazwischen ein. Bei Ratenlimits Parallelität senken oder Verzögerung erhöhen.
Kann ich Crawl-Ergebnisse vergleichen?
Ja. Jeder abgeschlossene Crawl ist ein datierter Snapshot. Nach Release oder Fix mit gleichem Umfang und Einstellungen erneut crawlen und vergleichen.
Brauche ich einen SEO-Crawler trotz Search Console?
Beide beantworten unterschiedliche Fragen. Search Console meldet Suchleistung; der Crawler folgt internen Links proaktiv und erstellt ein technisches Inventar.
Garantiert das Beheben jedes Crawl-Befunds bessere Rankings?
Nein. Crawl-Daten helfen bei technischen Bedingungen; Rankings hängen auch von Relevanz, Content, Autorität, Wettbewerb, Nachfrage und Indexierung ab. Filter sind Untersuchungsbelege, keine automatischen Anweisungen.
Website vor der nächsten technischen SEO-Änderung abbilden.
Crawl-Basis erstellen, exakte URLs und Quellpfade hinter jedem Muster prüfen und nach Deployment zur Verifikation zurückkehren.