Bezpłatny generator robots.txt Screpy tworzy plik tekstowy z podanych grup robotów, reguł Allow i Disallow oraz adresów map witryny. Przygotujesz w nim nowy plik albo odtworzysz wcześniej zaplanowane zasady. Skopiuj wynik lub pobierz robots.txt, a następnie opublikuj go we własnej witrynie.
Generator nie odczytuje istniejącego pliku, nie testuje opublikowanych adresów i nie instaluje zmian. Przed zastąpieniem działającej konfiguracji zachowaj kopię i określ, jakie ścieżki każdy robot powinien móc pobierać. Plik może mieć poprawną składnię, a mimo to wyrażać niewłaściwe zasady dla witryny.
Jak korzystać z generatora robots.txt
Zacznij od grupy * dla zasad ogólnych. Dodaj regułę, wybierz Allow lub Disallow i wpisz ścieżkę zaczynającą się od /. Przykładowo podaj /drafts/, a nie https://example.com/drafts/. Kolejną grupę dodawaj tylko wtedy, gdy konkretny robot potrzebuje odrębnych zasad.
Możesz skonfigurować do 10 unikalnych grup robotów, łącznie 50 jawnych reguł i 10 adresów map witryny. Użyj identyfikatora robota, takiego jak Googlebot, zamiast pełnego ciągu User-Agent przeglądarki. Nazwy różniące się jedynie wielkością liter nie są w tym narzędziu osobnymi grupami.
Każdy pełny adres HTTP lub HTTPS mapy witryny wpisz w osobnym wierszu. Jeśli nie masz adresu do podania, zostaw pole puste. Wygeneruj plik, przejrzyj ostrzeżenia i skopiuj lub pobierz wynik. Grupa bez jawnych reguł tworzy Allow: /. Licznik może więc pokazywać zero, mimo że plik zawiera ten domyślny wiersz. To limity generatora, nie protokołu robots.txt.
Przykład robots.txt z dozwolonym wyjątkiem
Ta fikcyjna konfiguracja ogranicza skanowanie folderu szkiców, pozostawiając dostęp do publicznego podfolderu. Jest przykładem do dostosowania, a nie zalecaną konfiguracją dla każdej witryny.
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml
Dla robota korzystającego z tej grupy oczekiwane decyzje są następujące:
| Ścieżka URL | Decyzja o skanowaniu | Powód |
|---|---|---|
/products/blue-mug/ |
Dozwolone | Żadne ograniczenie nie pasuje. |
/drafts/new-page/ |
Zabronione | Pasuje zablokowany folder. |
/drafts/public/style-guide/ |
Dozwolone | Dłuższa ścieżka Allow tworzy wyjątek. |
/drafts |
Dozwolone | Brakuje końcowego ukośnika ze ścieżki /drafts/. |
Ostatni wiersz ma znaczenie, jeśli aplikacja udostępnia oba warianty folderu. Sprawdzaj rzeczywiste adresy witryny, także z różnymi ukośnikami i parametrami. Decyzja oznacza zgodę wynikającą z pliku; nie potwierdza dostępności HTTP ani indeksowania. Wiersz Sitemap wskazuje lokalizację pliku i nie unieważnia Disallow.
Dopasuj właściwe ścieżki za pomocą symboli wieloznacznych
Sprawdź regułę zarówno na adresie, który ma pasować, jak i na podobnym adresie, który ma pozostać dostępny do skanowania. Ścieżki rozróżniają wielkość liter: /Catalog/ i /catalog/ są różne. Brak ukośnika lub zbyt szeroki prefiks może objąć inne strony niż zamierzone.
| Wzorzec | Co sprawdzić przed użyciem |
|---|---|
/catalog |
Jest prefiksem: pasuje także do /catalogue/. |
/catalog/ |
Pasuje do ścieżek w tym folderze, ale nie do samego /catalog. |
/catalog$ |
Pasuje do dokładnego zakończenia, nie do /catalog/ ani /catalog?sort=price. |
/*.pdf$ |
Pasuje do adresu zakończonego małymi literami .pdf; parametry po rozszerzeniu zmieniają zakończenie. |
Robots Exclusion Protocol określa * jako ciąg znaków, a $ jako koniec dopasowania. Dosłowny # rozpoczyna komentarz. Zakoduj znak kratki lub spację należące do adresu, zamiast wpisywać je bez kodowania w ścieżce. Stosuj wzorce na tyle precyzyjne, by móc wyjaśnić i sprawdzić ich działanie. Formularz zachowuje wzorce, ale nie oblicza wszystkich adresów, których mogą dotyczyć.
Każdemu robotowi przypisz pełną grupę reguł
Ograniczenia grupy ogólnej nie są automatycznie dodawane do osobnej grupy Googlebota. Na przykład:
User-agent: *
Disallow: /drafts/
User-agent: Googlebot
Disallow: /previews/
Grupa Googlebota ogranicza tutaj /previews/, ale nie /drafts/. Jeśli oba foldery mają być ograniczone dla Googlebota, dodaj obie reguły do jego grupy. Specyfikacja robots.txt Google wyjaśnia wybór grup i dopasowanie. Przy sprzecznych regułach Allow i Disallow o jednakowej szczegółowości Google wybiera Allow. Przesunięcie tej samej reguły niżej nie daje jej pierwszeństwa.
Dodaj grupę konkretnego robota tylko wtedy, gdy rozumiesz zamierzoną różnicę. Roboty wyszukiwania, trenowania modeli i pobierania na żądanie użytkownika mogą używać różnych identyfikatorów. Sprawdź reguły obsługiwanego robota w AI Bot Access Tester, zamiast zakładać, że jedna grupa kontroluje wszystkie działania usługi.
Przeczytaj ostrzeżenia przed skopiowaniem pliku
Raport wyróżnia trzy sytuacje wymagające świadomej decyzji. Ostrzeżenie zachęca do sprawdzenia zasad; nie dowodzi, że plik jest bezużyteczny.
| Ostrzeżenie | Co sprawdzić |
|---|---|
| Disallow dla całej witryny | Grupa zawiera Disallow: /. Potwierdź, że szerokie ograniczenie jest zamierzone, i sprawdź ewentualne bardziej szczegółowe wyjątki Allow. |
| Grupa konkretnego robota | Grupa ogólna ma jawne reguły, a inny robot własną grupę. Sprawdź, czy ta ostatnia zawiera właściwe ograniczenia. |
| Allow i Disallow z identyczną ścieżką | Obie akcje używają tej samej ścieżki w grupie. Usuń niezamierzony konflikt; przy równej szczegółowości Google preferuje Allow. |
Wynik bez ostrzeżeń nie jest audytem rzeczywistego skanowania. Te kontrole nie ustalają, czy zasób jest potrzebny do renderowania strony, czy mapa witryny jest osiągalna ani czy każdy wzorzec obejmuje właściwe strony. Pozostaw dostępne potrzebne arkusze stylów, skrypty i obrazy. Nie blokuj całego folderu zasobów tylko dlatego, że robi to ogólny szablon.
Opublikuj robots.txt i sprawdź rzeczywistą odpowiedź
Zapisz obecny plik przed jego zastąpieniem. Opublikuj wygenerowany tekst jako zasób tekstowy UTF-8 o dokładnej nazwie robots.txt, bez dodatkowego rozszerzenia .txt. Dla witryny HTTPS pod www.example.com sprawdź https://www.example.com/robots.txt. Plik w /blog/robots.txt nie konfiguruje całego hosta. Protokół, host i port mają znaczenie.
W WordPressie, innym CMS lub hostowanym kreatorze najpierw ustal, co udostępnia ten adres: fizyczny plik, odpowiedź wtyczki czy ustawienie platformy. Zaktualizuj właściwe źródło. Umieszczenie drugiego pliku gdzie indziej nie musi zmienić opublikowanej odpowiedzi. Screpy nie oferuje szablonów CMS i nie publikuje pliku za Ciebie.
Po publikacji:
- Otwórz dokładny adres robots.txt bez logowania. Potwierdź, że zwraca zamierzony tekst, a nie ekran logowania lub stronę HTML.
- Użyj Robots.txt Tester dla ważnych dozwolonych i zabronionych adresów. Uwzględnij wyjątki i alternatywne zapisy ścieżek.
- Zbadaj nieoczekiwane odpowiedzi za pomocą HTTP Headers Checker, a zadeklarowaną mapę sprawdź osobno w Sitemap Checker.
Instrukcja tworzenia pliku od Google opisuje przesyłanie i kontrolę publicznego dostępu. Roboty odnajdują opublikowany plik; pobranie go tutaj nie jest zgłoszeniem. Kopia w pamięci podręcznej może też opóźnić zauważenie zmiany.
Wybierz właściwą kontrolę dla indeksowania lub prywatnych stron
Robots.txt służy do przekazywania ograniczeń skanowania. Jeśli chcesz wykluczyć z Google stronę, która pozostaje publiczna, Google opisuje noindex w metatagu lub nagłówku odpowiedzi HTTP. Google musi uzyskać dostęp do strony, by odczytać instrukcję. Zablokowanie tego samego adresu w robots.txt może to uniemożliwić. Google nie obsługuje wiersza Noindex: w robots.txt.
Przed wyborem rozwiązania sprawdź istniejące dyrektywy w Noindex Checker. Dla poufnych dokumentów lub prywatnego środowiska testowego zastosuj uwierzytelnianie i odpowiednią kontrolę dostępu. Ani publiczny robots.txt, ani instrukcja noindex nie zabezpieczają dostępu do treści. Większa liczba reguł nie zastąpi wyboru właściwej kontroli.