AI Bot Access Tester Screpy sprawdza politykę robots.txt dokładnego URL dla dziewięciu nazwanych botów lub kontroli wykorzystania treści. Oddziela wyszukiwanie AI, trening modeli i wizyty na żądanie użytkownika, aby ocenić regułę zgodnie z celem. Wynik pokazuje opublikowaną politykę, nie dowodzi dostępu prawdziwego bota, indeksowania ani cytowania.
Sprawdź dokładny URL i jego źródło
Wpisz domenę albo pełny publiczny adres HTTP/HTTPS. Sama domena sprawdza ścieżkę główną; pełny adres zachowuje ścieżkę i parametry przy dopasowaniu reguł. Jeśli chodzi o poradnik produktu, sprawdź go zamiast stosować wynik strony głównej wszędzie.
Narzędzie pobiera robots.txt z origin podanego adresu. Subdomeny oraz origin HTTP i HTTPS mogą mieć inne pliki. Kontroluj faktycznie publikowany adres. Szczegóły źródła pokazują żądany adres robots.txt, końcowy adres po przekierowaniach i czas. Śledzonych jest do pięciu przekierowań źródła.
Użyj Wyszukiwarka subdomen, aby znaleźć inne hosty do przeglądu, a następnie osobno sprawdź politykę botów dla każdego istotnego źródła. Wpis w certyfikacie nie potwierdza działającej witryny ani rzeczywistego dostępu botów.
URL strony służy do dopasowania reguł, nie analizy treści. Udane pobranie robots.txt nie dowodzi, że artykuł jest dostępny lub czytelny. Zachowaj badany adres z wynikiem, porównując stan przed zmianą i po niej.
Rozdziel wyszukiwanie AI, trening i wizyty użytkownika
Zablokowany robot treningowy nie jest automatycznie problemem z odnajdywaniem treści. Przeczytaj cel wiersza, zanim uznasz, że każdy powinien być zielony. Obecny raport obejmuje dziewięć pozycji:
| Cel | Pozycje raportu | Interpretacja |
|---|---|---|
| Wyszukiwanie AI | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Oceń przy planowanym odnajdywaniu w danym wyszukiwaniu |
| Trening modeli | GPTBot, ClaudeBot | Rezygnacja z treningu może być celowa i niezależna od wyszukiwania |
| Wizyty na żądanie | ChatGPT-User, Claude-User, Perplexity-User | Przeczytaj uwagę: roboty różnie traktują robots.txt |
| Kontrola wykorzystania treści | Google-Extended | Token kontroli, nie osobny crawler HTTP ani ustawienie rankingu Google |
Dokumentacja robotów OpenAI rozróżnia OAI-SearchBot i GPTBot oraz wskazuje, że robots.txt może nie dotyczyć żądań ChatGPT-User inicjowanych przez człowieka. Zezwolenie na wyszukiwanie i blokada treningu to osobny wybór, nie sprzeczność.
Wskazówki Anthropic rozróżniają agentów wyszukiwania, treningu i użytkownika oraz deklarują respektowanie robots.txt. Dokumentacja Perplexity oddziela PerplexityBot od Perplexity-User, który przy pobraniu na żądanie zazwyczaj ignoruje robots.txt.
Dokumentacja Google-Extended Google opisuje wykorzystanie treści i stwierdza, że token nie wpływa na obecność ani ranking w Google Search. Nie traktuj wiersza jako testu Googlebota ani wszystkich funkcji AI Google. Cele i zachowanie mogą się zmieniać; przy długotrwałej polityce wracaj do źródeł oficjalnych.
Odczytaj zastosowaną grupę i pasującą regułę
Dowody wskazują bota, grupę, dopasowane Allow lub Disallow oraz numer wiersza. Dopasowana grupa konkretnego bota ma pierwszeństwo przed grupą ogólną. Wśród właściwych reguł wygrywa dłuższa pasująca ścieżka, a przy tej samej szczegółowości Allow. Brak pasującego ograniczenia oznacza brak zakazu dla celu w zastosowanej polityce. Osobny zapis Allow nie jest obowiązkowy.
Wyobraź sobie fikcyjną grupę OAI-SearchBot z Disallow dla /private/ i dokładniejszym Allow dla /private/public-guide/. Poradnik może być dozwolony, a /private/report/ nadal zablokowany. Osobna grupa GPTBot blokująca wszystkie ścieżki nie zmienia decyzji OAI-SearchBot. To przykład dopasowania, nie polityka do bezmyślnego wklejenia.
Nieznany nie znaczy zablokowany. Niedostępne źródło, nieprawidłowy dokument lub przekroczony limit pozostawiają politykę nierozstrzygniętą. Limit źródła wynosi 512 KiB. Brak robots.txt z 404 lub 410 oznacza brak ograniczenia znalezionego w pliku, nie zniknięcie logowania i innych kontroli. Przed edycją przeczytaj ostrzeżenia i diagnostykę wierszy. Dla własnego user-agenta lub dokładniejszej analizy użyj Robots.txt Tester.
Zmień tylko zamierzoną politykę
Jeśli celem jest odkrywanie w wyszukiwaniu AI, zacznij od botów wyszukiwania i pasującej blokady. Zachowaj celowe ograniczenia treningu i prywatnych ścieżek zamiast usuwać wszystkie Disallow. Zmień plik właściwego origin, opublikuj i powtórz dokładnie ten sam URL. Sprawdź też adres, który ma pozostać zablokowany, aby wykryć zbyt szeroką zmianę.
Dozwolona polityka nie jest testem rzeczywistego dostępu. Narzędzie nie wysyła żądań jako dziewięciu agentów, nie bada logów ani nie weryfikuje logowania i reguł serwera. Suma dozwolonych pozycji nie jest oceną widoczności, a brak pliku nie gwarantuje swobodnego dostępu.
Odpowiedzi HTTP badaj osobno przez Bulk HTTP Status Checker, pamiętając, że jego żądanie też nie dowodzi, co otrzymuje każdy autentyczny bot. Do instrukcji indeksowania użyj Noindex Checker. Polityka, pobranie, indeksowanie i wybór jako źródła to osobne pytania. Zmiana reguły nie gwarantuje ruchu, rekomendacji ani cytowań.
Przed publikacją sprawdź strukturę Markdown i wykryte linki za pomocą walidatora llms.txt. Opcjonalne kontrole HTTP obejmują ograniczoną liczbę celów; nie dowodzą odczytu pliku przez agenta AI.
Do szerszej analizy użyj Kontroli gotowości do wyszukiwania AI i sprawdź razem HTML, reguły robots oraz ograniczone pliki odkrywania. Ustalenia techniczne nie mierzą widoczności AI ani nie gwarantują cytowań.