Tester robots.txt sprawdza, czy reguły witryny pozwalają wybranemu crawlerowi zażądać konkretnego adresu URL. Przetestuj plik dostępny w witrynie lub wklej wersję roboczą, a następnie sprawdź dopasowaną grupę, dyrektywę i wiersz. Wynik wyjaśnia uprawnienie do skanowania według tych reguł; nie potwierdza wizyty bota na stronie ani indeksowania adresu URL.
Wybierz źródło robots.txt i adres URL
Użyj trybu Aktywna witryna, aby odczytać publiczny plik obecnie udostępniany przez witrynę. Wpisz https://example.com, ścieżkę /products/item i crawlera do sprawdzenia. Screpy pobiera /robots.txt; nie pobiera testowanej strony ani nie skanuje całej witryny.
Użyj Wklej robots.txt dla nieopublikowanej wersji roboczej. Wklejony tekst jest analizowany w przeglądarce bez przesyłania. Podaj adres witryny jako kontekst, aby tester mógł ustalić docelowy adres URL.
Zachowaj dokładny protokół i nazwę hosta: https://example.com, http://example.com i https://www.example.com to różne źródła. Domena bez protokołu używa HTTPS. Pełny testowany URL musi mieć to samo źródło co wpisana witryna; ścieżka jest uzupełniana względem niego. Test / sprawdza tylko ścieżkę strony głównej. Przy sprawdzaniu innego URL zachowaj rzeczywistą wielkość liter i parametry zapytania.
Wybierz gotowego crawlera lub wpisz własny token produktu, np. ExampleBot, zamiast pełnego nagłówka user-agent przeglądarki.
Odczytaj wynik testu robots.txt
Czytaj status wraz z jego uzasadnieniem, zwłaszcza dopasowaną grupą i wyróżnionym wierszem.
| Status | Znaczenie | Co sprawdzić |
|---|---|---|
| Dozwolone — zielony | Dopasowana reguła Allow zezwala na ten URL. |
Rozstrzygającą dyrektywę i wiersz. |
| Zablokowano — czerwony | Dopasowana reguła Disallow blokuje ten URL. |
Czy ścieżka i crawler odpowiadają zamiarowi. |
| Domyślnie dozwolone — niebieski | Żadna pasująca reguła ścieżki nie ogranicza tego URL. | Wybraną grupę i to, czy otrzymano użyteczny plik z witryny. |
| Nieokreślone — żółty | Kontrola pliku z witryny nie może ustalić decyzji na podstawie reguł. | Odpowiedź źródła lub ostrzeżenie o pobieraniu. |
Podczas kontroli aktywnej witryny najpierw sprawdź URL robots.txt i status HTTP. Tester traktuje odpowiedzi 404, 403 i inne 4xx poza 429 jako brak opublikowanych ograniczeń. Limit żądań, błąd serwera lub nierozwiązane przekierowanie pozostawiają decyzję nieokreśloną; przekroczenie czasu może wyświetlić błąd zamiast wyniku. Te sytuacje nie dowodzą jawnego Disallow. Rzeczywiste crawlery mogą używać pliku z pamięci podręcznej lub inaczej obsługiwać błędy; Google opisuje własne zasady odpowiedzi.
Przejrzyj ostrzeżenia parsera, zanim zaufasz nieoczekiwanemu wynikowi domyślnemu. Błędnie zapisana dyrektywa lub brak dwukropka może sprawić, że zamierzona reguła nie zostanie użyta. Screpy przetwarza najwyżej pierwsze 500 KiB i oznacza uciętą treść. W takim przypadku decyzja opisuje przetworzoną część; późniejszych reguł nie sprawdzono.
Zrozum, która reguła robots.txt wygrywa
Grupa właściwa dla crawlera ma pierwszeństwo przed User-agent: *; reguły obu grup nie są dziedziczone wspólnie. W odpowiedniej grupie wygrywa najdłuższa pasująca reguła ścieżki. Gdy pasują równie szczegółowe reguły Allow i Disallow, wygrywa Allow. Pasujące grupy dla tego samego konkretnego agenta mogą być łączone, dlatego sprawdź również powtarzające się grupy. Te zasady opisuje Protokół wykluczania robotów.
Wklej tę przykładową politykę i porównaj następujące testy:
User-agent: *
Disallow: /private/
Allow: /private/help/
User-agent: Googlebot
Disallow: /preview/
| Crawler | Testowana ścieżka | Oczekiwany wynik | Powód |
|---|---|---|---|
| Bingbot | /private/report |
Zablokowano | Pasuje globalna reguła /private/. |
| Bingbot | /private/help/guide |
Dozwolone | Wygrywa dłuższy wyjątek /private/help/. |
| Googlebot | /private/report |
Domyślnie dozwolone | W jego konkretnej grupie nie ma pasującej reguły; globalna blokada nie jest dziedziczona. |
| Googlebot | /preview/page |
Zablokowano | Pasuje jego konkretna reguła /preview/. |
Przykład pokazuje dopasowywanie reguł, a nie zabezpieczony obszar prywatny. Ścieżki rozróżniają wielkość liter: /Private/ różni się od /private/. We wzorcach ścieżek * pasuje do ciągu znaków, a $ oznacza koniec. Na przykład Disallow: /*.pdf$ pasuje do /guide.pdf, ale nie do /guide.pdf?download=1. Testuj dokładnie używany URL, zamiast zakładać taki sam wynik dla podobnych wariantów.
Testuj osobno crawlery wyszukiwarek i AI
Wybrany token produktu zmienia stosowane reguły. Sprawdzaj Googlebota i Bingbota oddzielnie, jeśli chodzi o skanowanie przez wyszukiwarki. W przypadku agentów AI rozróżnij wyszukiwanie, trenowanie modeli i pobieranie na żądanie użytkownika, zamiast zakładać, że jedna reguła obejmuje wszystko.
OAI-SearchBot obsługuje na przykład wyszukiwanie ChatGPT, a GPTBot skanuje treści, które mogą posłużyć do trenowania modeli. ChatGPT-User realizuje niektóre działania inicjowane przez użytkownika, a reguły robots.txt mogą nie mieć zastosowania do tych żądań, zgodnie z dokumentacją crawlerów OpenAI.
Wybranie gotowej opcji ocenia dany token względem pliku. Kontrola aktywnej witryny nie podszywa się pod wybranego bota, nie uwierzytelnia jego żądań i nie dowodzi przestrzegania wyświetlonej polityki. Wynik blokady dla tokenu uruchamianego przez użytkownika jest interpretacją reguł, a nie gwarancją zatrzymania żądań.
Popraw regułę i ponownie przetestuj plik w witrynie
Zmień właściwą regułę w najmniejszym potrzebnym zakresie, a następnie sprawdź zamierzone ograniczenie i wyjątek, który ma pozostać.
- Skopiuj obecny plik do trybu wklejania i odtwórz nieoczekiwany wynik z tym samym URL i crawlerem.
- Popraw dopasowaną dyrektywę lub grupę. Przetestuj zmienioną ścieżkę i sąsiedni URL, który powinien pozostać dozwolony lub zablokowany.
- Powtórz dla każdego istotnego crawlera. Udany test Googlebota nie ustala wyniku dla Bingbota ani GPTBota.
- Po opublikowaniu pliku we własnej witrynie przełącz się na kontrolę aktywnej witryny i powtórz testy. Potwierdź, że otrzymany plik i dopasowany wiersz odzwierciedlają zmianę. Świeża odpowiedź narzędzia nie dowodzi, że rzeczywisty crawler odświeżył swoją kopię w pamięci podręcznej.
Jeśli celem jest usunięcie z wyników wyszukiwania, samo Disallow nie wystarczy. Google musi móc skanować stronę, aby odczytać jej dyrektywę noindex. Chroń poufne treści uwierzytelnianiem, nie plikiem robots.txt. Google wyjaśnia ograniczenia blokowania skanowania.
Raport zawiera również deklaracje Sitemap:; znalezienie adresu nie weryfikuje jego XML ani nie dowodzi indeksowania. Otwórz go w Kontrolerze mapy witryny, aby przeprowadzić osobną kontrolę. Jeśli dostęp crawlera jest poprawny, ale strona wymaga dalszej analizy, użyj Kontrolera SEO On-Page do sprawdzenia jej sygnałów SEO na poziomie strony.
Kontrola Noindex: Znajdź noindex w HTML i nagłówkach HTTP strony. Zobacz źródło i sprawdź, czy dotyczy wyszukiwarki internetowej Google.
Tester dostępu botów AI: Sprawdzane są tylko reguły robots.txt. Wynik nie potwierdza rzeczywistego dostępu botów, indeksowania ani cytowania.