Darmowy tester i walidator robots.txt
Sprawdź, czy adres URL jest dozwolony lub zablokowany dla Google, wyszukiwania AI, trenowania modeli i własnych robotów. Przetestuj stronę na żywo albo wklej plik robots.txt, aby zobaczyć zastosowaną regułę i wiersz.
Przetestuj regułę crawlowania w trzech krokach.
Sprawdź jeden adres URL bez tworzenia projektu ani konta. Tryb na żywo odczytuje wyłącznie publiczny plik robots.txt witryny.
Wybierz źródło
Pobierz publiczny plik robots.txt ze strony albo wklej treść, którą chcesz prywatnie przetestować w przeglądarce.
Wybierz robota
Wybierz token produktu wyszukiwarki, wyszukiwania AI, trenowania modeli, pobierania uruchamianego przez użytkownika lub własnego robota i wpisz testowaną ścieżkę URL.
Odczytaj dokładne dopasowanie
Zobacz, czy adres URL jest dozwolony, która grupa ma zastosowanie oraz która reguła Allow lub Disallow i który wiersz określają wynik.
Dowiedz się, dlaczego crawler jest dozwolony lub zablokowany.
Wartościowy wynik powinien pokazywać regułę stojącą za decyzją, a nie tylko zielony lub czerwony status.
Wygrywa najbardziej szczegółowa reguła
Tester stosuje zasadę najdłuższego dopasowania. Gdy równie szczegółowe reguły Allow i Disallow są sprzeczne, wygrywa mniej restrykcyjna reguła Allow.
Wieloznacznik i dopasowanie końca
Użyj gwiazdki, aby dopasować ciąg znaków, oraz znaku dolara, aby zakotwiczyć regułę na końcu testowanego adresu URL.
Grupy User-Agent mają znaczenie
Grupa przeznaczona dla konkretnego robota ma pierwszeństwo przed globalną grupą *. Roboty wyszukiwarek, trenowania modeli i uruchamiane przez użytkownika należy testować osobno.
Brak reguły oznacza domyślny dostęp
Jeśli żadna pasująca reguła Allow ani Disallow nie ma zastosowania, adres URL jest domyślnie dozwolony zgodnie z protokołem wykluczania robotów.
Robots.txt kontroluje dostęp, a nie obecność w wynikach wyszukiwania.
Kontrola crawlowania
Reguły Allow i Disallow informują zgodnego crawlera, o jakie ścieżki URL może pytać.
Kontrola indeksowania
Stosuj crawlable dyrektywy noindex i procesy usuwania z wyszukiwarek, gdy adres URL nie powinien pojawiać się w wynikach.
Pytania dotyczące testera robots.txt
Jasne odpowiedzi o regułach indeksowania, tokenach robotów AI, błędach i indeksowaniu.
Co robi tester robots.txt?
Tester robots.txt porównuje user-agenta robota i adres URL z regułami pliku robots.txt. Pokazuje, czy skanowanie jest dozwolone, która grupa User-Agent ma zastosowanie i jaka dokładna reguła pasuje.
Czy robots.txt uniemożliwia indeksowanie strony?
Nie samodzielnie. Robots.txt kontroluje skanowanie, a nie indeksowanie. Zablokowany adres URL może zostać odkryty przez linki i pojawić się bez pełnego fragmentu. Jeśli chcesz usunąć stronę z wyników, użyj odpowiedniej dyrektywy noindex na stronie dostępnej do skanowania.
Co oznacza „Domyślnie dozwolone”?
Oznacza to, że tester nie znalazł reguły, która blokowałaby adres URL. Przyczyną może być brak pasującej grupy User-Agent, brak odpowiedniej reguły w grupie albo brak użytecznego pliku robots.txt.
Czy mogę testować roboty AI osobno od Googlebota?
Tak. Roboty wyszukiwarek, wyszukiwania AI, trenowania modeli i pobierania uruchamianego przez użytkownika używają różnych tokenów produktów i mogą podlegać innym regułom. Wybierz każdego agenta osobno, aby sprawdzić właściwą politykę.
Co oznaczają * i $ w robots.txt?
Gwiazdka dopasowuje ciąg znaków w ścieżce URL. Znak dolara zakotwicza wzorzec na końcu adresu URL. Tester obsługuje oba wzorce, aby wskazać najbardziej szczegółową pasującą regułę.
Co się dzieje, gdy robots.txt zwraca 404 lub 403?
Główne roboty zwykle traktują większość odpowiedzi 4xx tak, jakby nie opublikowano ograniczeń skanowania. Odpowiedź 429 oznacza tymczasowe ograniczenie częstotliwości, dlatego tester zgłasza nieokreślony stan na żywo.
Dlaczego wynik 5xx lub przekroczenie limitu czasu jest nieokreślone?
Tymczasowy błąd serwera lub sieci nie dowodzi, że robot ma dostęp albo jest zablokowany. Roboty mogą wstrzymać żądania lub użyć wcześniej zapisanej wersji robots.txt, więc tester nie przedstawia ostatecznej decyzji.
Czy Screpy przechowuje adresy URL lub wklejoną treść robots.txt?
Nie. Wklejona treść jest analizowana w przeglądarce i nie jest przesyłana. Tryb na żywo wysyła tylko stronę, testowany adres URL i wybranego robota na potrzeby bieżącego sprawdzenia; te dane nie są przechowywane.