Reguły botów wyszukiwania AI
Wpisz domenę lub pełny adres HTTP/HTTPS. Ścieżka i zapytanie zostaną zachowane; robots.txt jest pobierany z tego samego źródła. Pasująca grupa konkretnego bota ma pierwszeństwo przed grupą wieloznaczną. Dłuższe pasujące reguły mają priorytet; przy równej szczegółowości wygrywa Allow. Narzędzie śledzi do pięciu przekierowań.
Wyszukiwanie AI
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Jeśli chcesz być widoczny w wyszukiwaniu AI, sprawdź dopasowaną regułę Disallow przed jej zmianą. Sprawdzane są tylko reguły robots.txt. Wynik nie potwierdza rzeczywistego dostępu botów, indeksowania ani cytowania.
Trenowanie modeli
GPTBot · ClaudeBot
Blokowanie bota treningowego może być zamierzone. Nie jest automatycznie problemem SEO.
Wizyty na żądanie użytkownika
ChatGPT-User: robots.txt może nie dotyczyć wizyt na żądanie użytkownika.
Claude-User przestrzega robots.txt podczas wizyt na żądanie użytkownika.
Perplexity-User: Ten bot zazwyczaj ignoruje robots.txt podczas wizyt na żądanie użytkownika.
Kontrola wykorzystania treści
Google-Extended: Kontroluje wykorzystanie treści, a nie osobnego robota HTTP ani wyszukiwarkę Google.
Źródło
Niedostępna odpowiedź, nieprawidłowy dokument lub przekroczony limit dają wynik nieznany. Przy braku pliku ze statusem 404 lub 410 przyjęto brak ograniczeń robots.txt. Odpowiedź robots.txt jest ograniczona do 512 KiB.
Kontrola Noindex · robots.txt · SEO
OpenAI · Anthropic · Perplexity · Google-Extended
Sprawdź URL, który ma być odkrywany
Sprawdź publiczny URL artykułu lub produktu, nie tylko stronę główną. Reguła zezwalająca na / może współistnieć z ograniczeniem /private/; wynik zależy od żądanej ścieżki. Dla https://example.com/private/report/ sprawdź zastosowaną grupę i pasującą regułę przed oceną blokady.
Raport rozdziela wyniki dozwolone, zablokowane i nieznane. Jeśli zależy Ci na odkrywaniu treści, zacznij od wierszy botów wyszukiwania. Zielona suma nie dowodzi zgody dla wszystkich kategorii ani przyszłego cytowania treści.
Oddziel decyzje dotyczące wyszukiwania i treningu
Możesz dopuścić OAI-SearchBot i zablokować GPTBot. Te decyzje służą różnym celom: udostępnienie stron wyszukiwaniu nie wymaga jednakowego traktowania wszystkich botów treningowych. Dotyczy to także innych botów. Potwierdź cel każdego agenta w jego opublikowanej dokumentacji.
Sprawdź ponownie po zmianie robots.txt
Zmień regułę w originie sprawdzanego URL, opublikuj ją i ponownie sprawdź ten sam URL. Przetestuj też adres poza ograniczonym katalogiem, aby wykryć zbyt szeroką zmianę. Zachowaj zamierzone ograniczenia zamiast usuwać wszystkie linie Disallow.
Jeżeli zasady pozwalają na dostęp, lecz on nie działa, osobno zbadaj uwierzytelnianie, odpowiedzi HTTP i ograniczenia serwera. Narzędzie ich nie potwierdza. Użyj Zbiorczego sprawdzania HTTP do odpowiedzi oraz Sprawdzania Noindex do dyrektyw indeksowania.