Migrationen und URL-Änderungen
Wichtige URLs, Redirects, Ziele, Canonicals und interne Pfade vor dem Launch speichern und neue Struktur gleich crawlen.
SEO-Crawler für technische Websiteanalyse
Cloud-Crawl ausführen und Website über interne Links abbilden, statt URLs einzeln zu prüfen. Kapazität, Tiefe, JavaScript-Rendering, Parallelität und Anfrageverzögerung konfigurieren und anschließend Pages-, Links- und Images-Datensätze hinter jedem Muster prüfen.
Ihre Website crawlen
Screpy startet bei Ihrer Projektwebsite und folgt erreichbaren internen Links in der Cloud. Der erste Crawl beginnt bei der Einrichtung; später erstellen Sie über Analysieren im Seiten-, Link- oder Bilderbericht ein neues Inventar.
- Wählen Sie maximale URLs innerhalb Ihres Tariflimits und legen Sie fest, wie tief Links verfolgt werden.
- Erlauben Sie ScrepyBot den Zugriff auf das echte HTML durch Robots-Regeln und Sicherheitsmaßnahmen der Website.
- Verfolgen Sie den Fortschritt und nutzen Sie abgeschlossene Ergebnisse; laufende Zahlen können sich noch ändern.
example.com
/shop/guides/blog
JavaScript-Seiten crawlen
Clientseitige Navigation kann wichtige Links im ursprünglichen HTML verbergen. Aktivieren Sie JavaScript-Rendering, wenn Skripte wesentliche Inhalte oder Navigation erzeugen; lassen Sie es aus, wenn der Server bereits das benötigte HTML liefert.
- Prüfen Sie Links und Inhalte, die nach der Skriptausführung entstehen.
- Rechnen Sie mit deutlich langsameren Analysen bei aktiviertem JavaScript-Rendering.
- Auch Rendering benötigt erreichbare Seiten: Logins, Bot-Prüfungen oder Serverfehler werden nicht umgangen.
<main id="app">
<script />
</main>JavaScript
/shop/guides24 Links
Crawl-Tiefe und Tempo steuern
Entdeckungsumfang und Anfragetempo lösen unterschiedliche Probleme. Die Tiefe bestimmt die verfolgten internen Linkebenen; Parallelität und Verzögerung steuern die Serverlast. Größere Tiefe macht eine unverlinkte Seite nicht auffindbar.
- Wählen Sie eine Crawltiefe von 1 bis 10 passend zur Websitearchitektur.
- Passen Sie maximale URLs an, wenn ein erfolgreicher Crawl die gewählte Kapazität erreicht.
- Steuern Sie gleichzeitige Anfragen über die Parallelität.
- Nutzen Sie eine Anfrageverzögerung bei Parallelität 1; höhere Parallelität deaktiviert die Verzögerung.
example.com3
- 1
/ - 2
/shop/ - 3
/shop/linen/
Website-Struktur untersuchen
Verstehen Sie anhand erfasster URLs und Links, wie Kategorien, Produkte oder Artikel mit Ihrer Website verbunden sind. Nutzen Sie Quellseitenbeziehungen, um tiefe Inhalte, veraltete Navigation und Weiterleitungspfade zu untersuchen.
- Lesen Sie URL, endgültiges Ziel, HTTP-Status und Tiefe im Seiteninventar.
- Verfolgen Sie interne Ziele im Linkbericht zu Quellseiten, Ankertexten und rel-Attributen.
- Prüfen Sie Metadaten und Canonicals zusammen mit den Bildquellen der jeweiligen Seiten.
example.com
/shop/guides/blog
Website-Crawl-Daten exportieren
Erstellen Sie eine Arbeitsdatei aus den Datensätzen, die Ihr Team benötigt. Filtern Sie vor dem Export den ausgewählten Crawl, statt die gesamte Website zu übergeben, wenn es nur um eine Vorlage, einen Antwortstatus oder ein Dateimuster geht.
- Exportieren Sie gefilterte Seiten-, Link- oder Bilderinventare als CSV oder Excel.
- Halten Sie betroffene URLs und Quellseitendetails bei der zu erledigenden Arbeit.
- Nutzen Sie Website Audit für gruppierte Befunde und Priorisierung statt ausschließlich roher Crawldaten.
CSV50
Crawl-Momentaufnahmen vergleichen
Ein abgeschlossener Crawl erfasst die Website so, wie sie zu diesem Zeitpunkt erreicht wurde. Crawlen Sie nach einer Navigationsänderung oder Migration erneut, um Entdeckung und Ziele zu prüfen; alte Datensätze aktualisieren sich nicht mit der Live-Website.
- Vergleichen Sie erreichte Seitenzahlen, URL-Muster und wichtige Ziele zwischen abgeschlossenen Crawls.
- Halten Sie Kapazität, Tiefe, JavaScript-Modus und Zugriff vergleichbar, damit Abdeckungsänderungen erklärbar bleiben.
- Untersuchen Sie fehlende URLs anhand interner Linkpfade, Antworten und ausgewählten Umfangs.
Vorher62→Nachher87
Über SEO-Crawler sprechen. Mit SEO MCP.
Verbinden Sie Ihren KI-Assistenten mit Screpys SEO-MCP-Server. Fragen Sie nach dem letzten abgeschlossenen Crawl, prüfen Sie betroffene Seiten und priorisieren Sie technische SEO-Aufgaben.
- Screpy: Hallo! Sehen wir uns SEO-Crawler für example.com an. Was möchten Sie wissen?
- Sie: Prüfe SEO-Crawler für example.com. Was sollte ich zuerst beheben?
- Screpy: Im letzten abgeschlossenen Crawl fehlen Seitentitel und interne Links sind defekt. Beginnen Sie mit den betroffenen Seiten und prüfen Sie die Belege vor Änderungen. Crawl-Befunde: Fehlende Titel: 3 Seiten. Defekte interne Links: 1 Link.
- Sie: Mach daraus einen kurzen Maßnahmenplan.
- Screpy: Ich trenne Befunde und Empfehlungen. Prüfen Sie die Belege, wählen Sie eine Änderung und kontrollieren Sie anschließend die Ergebnisse. Ihre nächsten Schritte: Prüfen: Quelle und Datum jedes Befunds kontrollieren.. Entscheiden: Die erste Änderung auswählen.. Verifizieren: Ergebnisse nach der Änderung vergleichen..
- Sie: Kannst du die Belege verständlich erklären?
- Screpy: Ja. Fragen Sie nach einem unterstützten Ergebnis. Ich erkläre, was es zeigt, woher es stammt und was unklar bleibt. Fehlende Daten bleiben nicht verfügbar; Empfehlungen sind keine automatischen Korrekturen.
Einen Crawl in prüfbare Belege verwandeln.
Umfang sichtbar halten, Datensätze hinter einem Muster prüfen, Ursache beheben und nächsten Crawl zur Bestätigung verwenden.
-
Crawl vor der Interpretation definieren
Start-URL, Kapazität, Tiefe, JavaScript, Parallelität, Verzögerung, Robots-Regeln und Zugriff bestätigen. Diese Einstellungen bestimmen den Snapshot.
-
Interne Links die Struktur zeigen lassen
Zugängliche Pfade verfolgen und URL, Antwort, Tiefe, Ziel, Linkbeziehung und Seiten- oder Bilddaten im Umfang speichern.
-
Exakte Datensätze hinter dem Muster filtern
Pages, Links und Images von Summen zu repräsentativen URLs, Quellen, Redirects, Metadaten, Canonicals oder Bildnutzung öffnen.
-
Fix veröffentlichen und Snapshot vergleichen
Nach Änderung erneut crawlen, Umfang und Einstellungen vergleichbar halten und betroffene URLs sowie Muster verifizieren.
Crawler vor und nach strukturellen Websiteänderungen nutzen.
Crawl-Daten helfen am meisten, wenn das Team weiß, was geändert wurde. Vor riskanter Arbeit Basis und danach vergleichbaren Snapshot erstellen.
JavaScript-Websites und Anwendungen
Rendering nutzen, wenn Navigation oder Content im Browser entsteht, und URLs im Inventar bestätigen.
Interne Verlinkung und Architektur
Tiefe, Quellen, Anker, Attribute und Navigationspfade prüfen und schwach verbundene Inhalte finden.
Release- und Template-Monitoring
Nach Routing-, Navigation-, CMS-, Template- und Komponentenänderungen erneut crawlen, um Regressionen zu erkennen.
Screpy mit Screaming Frog vergleichen, wenn Bereitstellung, Controls, Extraktion, Monitoring, Teamzugriff und Reporting zählen.
Rohdaten oder priorisiertes Website-Audit wählen
SEO-Crawler für Discovery-Pfade und Pages-, Links- und Images-Datensätze nutzen; Website Audit für gruppierte Befunde und Prioritäten.
Cloud-Crawl konfigurieren, erreichbare URLs abbilden und Rohdaten hinter technischen Mustern prüfen.
Crawl in gruppierte Befunde, URL-Muster, Prioritäten, Exporte und verifizierbaren Fix-Workflow verwandeln.
Crawl-Belege auf das betriebene Website-Modell anwenden.
Gemeinsame Templates und wechselnde URL-Mengen erzeugen unterschiedliche Risiken für SaaS- und E-Commerce-Websites.
Landingpages, Dokumentation, gemeinsame Templates und Release-Regressionen als Akquisitionsfläche prüfen.
Kategorien, Produktseiten, fehlerhafte Kaufpfade und Katalogänderungen auditieren.
Screpy-Dokumentation
Website crawlen lernen
Screpy-Leitfäden zu Crawl-Umfang, Crawler-Zugriff, Pages-, Links- und Images-Berichten und unvollständigen Ergebnissen nutzen.
Fragen zum SEO-Crawler.
Discovery, Umfang, JavaScript-Rendering, Zugriff, Anfragegeschwindigkeit, Berichte, Snapshots und Unterschied zum Website-Audit verstehen.
Was ist ein SEO-Crawler?
Ein SEO-Crawler startet bei einer Website-URL, folgt zugänglichen internen Links im definierten Umfang und speichert technische Informationen zu erreichten Seiten und Ressourcen. Das Inventar hilft bei Pfaden, Statuscodes, Redirects, Canonicals, Links, Metadaten, Bildern und wiederholten Mustern.
Kann ich Crawl-Ergebnisse vergleichen?
Ja. Jeder abgeschlossene Crawl ist ein datierter Snapshot. Nach Release oder Fix mit gleichem Umfang und Einstellungen erneut crawlen und vergleichen.
Kann Screpy JavaScript-Websites crawlen?
Ja. Optionales Rendering hilft bei Links oder Content, die im Browser entstehen, umgeht aber keine Robots-Regeln, Authentifizierung, Firewalls, Bot-Challenges, Timeouts oder den Crawl-Umfang.
Was enthalten Pages-, Links- und Images-Berichte?
Pages speichert URL, Antwort, Tiefe, Metadaten, Überschriften, Canonical, Indexierbarkeit, Content und strukturierte Daten. Links verbindet Ziele mit Status, Ankern, Attributen, Nutzung und Quellen. Images gruppiert Quellen mit Status, Alt-Text, Abmessungen und Seitennutzung.
Brauche ich einen SEO-Crawler trotz Search Console?
Beide beantworten unterschiedliche Fragen. Search Console meldet Suchleistung; der Crawler folgt internen Links proaktiv und erstellt ein technisches Inventar.
Kann Screpy eine geschützte oder blockierte Website crawlen?
Der Crawler benötigt die echte Seite ohne Login, CAPTCHA, Browser-Challenge, Firewallblock oder Ratenlimit. ScrepyBot und dokumentierte Crawler-IP erlauben, robots.txt prüfen und echtes HTML bestätigen.
Wie entdeckt Screpy Seiten?
Screpy startet bei der Projektwebsite und folgt zugänglichen internen Links innerhalb von Kapazität und Tiefe. Eine Seite kann fehlen, wenn sie nicht verlinkt, zu tief, blockiert, außerhalb des Hosts umgeleitet, JavaScript-abhängig oder unbrauchbar ist.
Kann ich Crawl-Geschwindigkeit steuern?
Ja. Parallelität steuert, wie viele Anfragen gleichzeitig laufen. Eine Anfrageverzögerung ist bei Parallelität 1 verfügbar; bei höherer Parallelität wird die Verzögerung mit null gespeichert. Senken Sie den Anfragedruck, wenn Ihr Server automatisierten Traffic begrenzt, und prüfen Sie beim nächsten Crawl, ob echte Seitenantworten ankommen.
Was steuern maximale URLs und Crawl-Tiefe?
Maximale URLs begrenzen gespeicherte Entdeckungen; Tiefe begrenzt interne Linkebenen. Höhere Werte beheben keine Blockierung, fehlenden Links, Redirects, Ratenlimits oder unbrauchbare Antworten.
Unterschied zwischen SEO-Crawler und Website-Audit?
Der SEO-Crawler erstellt das technische Inventar mit URLs, Antworten, Pfaden, Seitendaten, Links, Bildern und Kontext. Website-Audit interpretiert diesen Crawl als gruppierte Befunde, Muster, Prioritäten und Fix-Workflow.
Findet der Crawler fehlerhafte Links und Redirectpfade?
Ja. Der Links-Bericht zeigt fehlerhafte oder umgeleitete Ziele und führt sie zu den Quellseiten zurück, damit konkrete Quellen, Komponenten oder Templates korrigiert werden können.
Garantiert das Beheben jedes Crawl-Befunds bessere Rankings?
Nein. Crawl-Daten helfen bei technischen Bedingungen; Rankings hängen auch von Relevanz, Content, Autorität, Wettbewerb, Nachfrage und Indexierung ab. Filter sind Untersuchungsbelege, keine automatischen Anweisungen.
Sie beschäftigen sich mit SI SEO?
Verstehen Sie Super-Intelligence-Begriffe und verbinden Sie Website-Audits, Suchrecherche, Rankings und KI-Sichtbarkeit in einem praktischen Screpy-Ablauf.