Użyj Zbiorczego Sprawdzania Meta Robots, aby porównać dyrektywy noindex i nofollow dla maksymalnie 20 publicznych adresów URL. Narzędzie odczytuje znaczniki robots w HTML oraz nagłówki odpowiedzi X-Robots-Tag, a następnie grupuje zaobserwowane wyniki dla wybranego zakresu robota. Pomaga to znaleźć nieoczekiwane wykluczenie w kilku szablonach stron lub sprawdzić celowe wykluczenia po zmianie. Raport opisuje odpowiedzi, które narzędzie mogło odczytać; nie ustala, czy Google zaindeksował te strony.
Wybierz przydatną grupę adresów i zakres robota
Zacznij od stron objętych zmianą, którą chcesz sprawdzić. Po edycji szablonu produktu uwzględnij kilka adresów produktów i stronę kategorii. Po migracji uwzględnij ważne strony docelowe oraz adresy, które mają przekierowywać. Niewielka reprezentatywna grupa pozwala porównać zachowanie różnych typów stron; nie dowodzi, że cała witryna zachowuje się tak samo.
Określ, które strony powinny móc pojawiać się w wyszukiwarce, a które mają celowe wykluczenie. Publiczna strona produktu i strona podziękowania mogą mieć różne wymagania. Ostrzeżenie noindex wymaga uwagi, gdy jest sprzeczne z takim wymaganiem, a nie tylko dlatego, że ma ikonę ostrzeżenia.
Wklej pełne adresy HTTP lub HTTPS, po jednym w wierszu, nie przekraczając 20 niepustych wierszy. Powtarzające się znormalizowane adresy są sprawdzane raz, ale usuń duplikaty przed wysłaniem listy przekraczającej limit. Narzędzie sprawdza podane adresy; nie odkrywa kolejnych stron domeny ani nie importuje mapy witryny.
Wybierz Googlebot, aby interpretować deklaracje ogólne razem z deklaracjami dotyczącymi Googlebota. Opcja robotów ogólnych uwzględnia deklaracje ogólne. Ten wybór zmienia instrukcje obowiązujące w raporcie. Nie przekształca żądania w rzeczywistą wizytę Googlebota i nie dowodzi, że Google otrzymuje identyczną odpowiedź.
Odczytaj wyniki noindex, nie wykryto noindex i nieznane
Podsumowanie i filtry grupują adresy według zaobserwowanego wyniku noindex. Ostrzeżenie Noindex oznacza znalezienie mającej zastosowanie instrukcji noindex. Zielona etykieta Nie wykryto noindex oznacza, że takiej instrukcji nie znaleziono przy pełnym odczycie odpowiednich źródeł. Nieznane oznacza, że narzędzie nie mogło ustalić wyniku negatywnego. Zielony kolor nie potwierdza indeksowania, a neutralna etykieta wyniku nieznanego nie oznacza, że strona na nie pozwala.
Przeczytaj również status HTTP, końcowy URL i dowody obok wyniku. Jeśli przesłany adres przekierowuje, dyrektywy opisują końcową odpowiedź osiągniętą podczas tego sprawdzania. Sam kod statusu nie mówi, czy istnieje deklaracja robots. Odczytaj też osobną wartość nofollow; podsumowanie nie jest łączną oceną obu dyrektyw.
Te przykładowe sytuacje pokazują, jak cel strony zmienia następne działanie. Nie są wynikami skanowania rzeczywistej witryny.
| Cel strony | Odczytane dowody | Działanie |
|---|---|---|
| Publiczny produkt ma pojawiać się w wyszukiwarce | Znaleziono odpowiedni noindex |
Znajdź znacznik lub nagłówek i zbadaj niezamierzone wykluczenie |
| Strona podziękowania ma pozostać poza wyszukiwarką | Znaleziono celowy noindex |
Potwierdź zgodność deklaracji i zakresu robota z wymaganiem |
| Publiczny artykuł ma pojawiać się w wyszukiwarce | Brak noindex; źródła w pełni odczytane |
Wykonaj inne kontrole indeksowania, jeśli artykułu nie ma w wynikach |
| Dowolna strona, źródło nieczytelne | Brak potwierdzonego noindex; niepełny odczyt |
Zbadaj brakujące dowody przed zmianą instrukcji |
Częściowa odpowiedź nadal może dać pewny wynik pozytywny: czytelny nagłówek zawierający noindex pozostaje dowodem, nawet jeśli HTML jest nieczytelny. Przeciwna konkluzja wymaga odpowiedniego odczytu źródeł. Dla pliku PDF lub innego zasobu niebędącego HTML odczyt HTML może mieć status Nie dotyczy; istotnym źródłem jest nagłówek odpowiedzi. Nie dotyczy i niedostępne opisują różne sytuacje.
Sprawdź razem znaczniki HTML i X-Robots-Tag
Znacznik HTML i nagłówek odpowiedzi mogą zawierać różne instrukcje. Załóżmy na przykład, że końcowy HTML zawiera:
<meta name="robots" content="index, follow">
Odpowiedź zawiera również:
X-Robots-Tag: noindex
Dodanie index do HTML nie neutralizuje noindex w odpowiednim nagłówku. Dokumentacja Google dotycząca dyrektyw robots wyjaśnia, jak łączą się deklaracje i jak instrukcje ograniczające rozstrzygają konflikty. W tym przykładzie sprawdź ustawienie nagłówka zamiast wielokrotnie zmieniać znacznik HTML. Raport zachowuje źródło, robota i surową wartość każdej deklaracji, aby można było znaleźć odpowiednią instrukcję.
Zakres również ma znaczenie. Ogólny znacznik robots z index, follow może współistnieć ze znacznikiem googlebot z noindex. Wybranie Googlebota uwzględnia konkretne wykluczenie; opcja ogólna uwzględnia deklaracje ogólne. Wyniki mogą więc się różnić, choć żadne sprawdzenie nie mierzy rzeczywistego indeksowania w Google.
Skrót none oznacza zarówno noindex, jak i nofollow. Inne deklaracje mogą wymagać dokładniejszej interpretacji: indexifembedded dotyczy na przykład treści osadzonych w innym miejscu. To zbiorcze podsumowanie zapisuje dwa wskaźniki; nie rozstrzyga w pełni każdej dyrektywy, sytuacji osadzenia ani funkcji wyszukiwarki. Zachowaj surowe dowody, gdy wyjątek wymaga zbadania.
Oddziel nofollow od indeksowania
Noindex dotyczy uwzględnienia strony w wynikach wyszukiwania. Nofollow na poziomie strony dotyczy podążania za linkami na tej stronie. Deklaracja noindex, follow sama w sobie nie jest sprzeczna: właściciel może chcieć wykluczyć stronę, pozostawiając jej linki dostępne do odkrywania. Oceniaj te wybory zgodnie z celem strony, zamiast traktować każdą ograniczającą dyrektywę jako błąd.
Narzędzie zbiorcze raportuje deklaracje na poziomie strony. Nie analizuje atrybutów rel="nofollow", sponsored ani ugc każdego linku, więc wynik Nie dla nofollow na poziomie strony nie ustala, jak oznaczono każdy pojedynczy link.
Wskazówki Google dotyczące oznaczania linków wyjaśniają też, że adresy docelowe mogą być odkrywane z innych źródeł. Zaobserwowane tutaj nofollow nie dowodzi, że te adresy nigdy nie zostaną przeskanowane ani zaindeksowane. Jeśli pytanie dotyczy wykluczenia samej tej strony, wróć do jej dowodów noindex.
Zbadaj nieznane wyniki przed zmianą dyrektyw
Zacznij od zakresu odczytu i dowodów, a nie od założenia, że brakuje znacznika. Nieudane żądanie, nieczytelny dokument lub nieobsługiwana deklaracja mogą uniemożliwić ocenę. Jeśli istnieje końcowy URL, sprawdź, czy jest oczekiwanym miejscem docelowym. Przekierowanie do strony logowania lub odpowiedź odmawiająca dostępu nie opisują zwykłej publicznej treści pierwotnej strony.
Narzędzie odczytuje odpowiedź HTTP; nie uruchamia JavaScriptu, aby zbudować wyrenderowaną stronę. Instrukcje dodawane dopiero po wykonaniu skryptów pozostają poza tym widokiem. Podobnie strona wymagająca logowania, blokująca dostęp automatyczny lub zmieniająca odpowiedź zależnie od odwiedzającego może nie udostępniać treści widocznej w przeglądarce. Nie usuwaj przydatnych dyrektyw tylko po to, aby nieznany wiersz zmienił się na zielony. Najpierw ustal, co rzeczywiście odczytano, a potem spróbuj ponownie, gdy publiczna odpowiedź będzie dostępna.
Użyj Noindex Checker, gdy jeden adres wymaga dokładniejszego sprawdzenia deklaracji i wyjątków. Zachowaj wynik zbiorczy jako materiał porównawczy, badając tę stronę osobno.
Zezwolenie na skanowanie to osobna kwestia. Narzędzie nie odczytuje robots.txt; użyj Robots.txt Tester do sprawdzenia tych reguł ścieżek. Google musi uzyskać dostęp do strony, aby zauważyć jej instrukcję noindex. Połączenie blokady skanowania z wykluczeniem wymaga więc osobnego sprawdzenia dostępu, nawet jeśli to narzędzie może pobrać URL.
Wyeksportuj ustalenia i ponownie sprawdź te same strony
Przed pobraniem CSV odfiltruj grupę, którą chcesz zbadać. CSV zawiera URL i klasyfikację statusu widocznych wierszy. To zwięzła lista robocza, nie pełny eksport dowodów robots: nie zawiera każdej surowej deklaracji, wartości nofollow ani wszystkich szczegółów odpowiedzi. Pobierz pełny raport JSON, gdy odbiorca potrzebuje dokładnych dowodów i informacji o zakresie odczytu.
Aby poprawkę można było odtworzyć:
- Zachowaj razem przesłane adresy, wybrany zakres robota i pierwotny raport. Zapisz oczekiwane zachowanie każdej strony obok ustaleń.
- Znajdź źródło deklaracji. Popraw niezamierzony znacznik HTML w odpowiedniej stronie lub szablonie; popraw niezamierzony nagłówek w ustawieniu, które go publikuje. Zachowaj celowe wykluczenia.
- Uruchom tę samą grupę i zakres ponownie, gdy zaktualizowane publiczne odpowiedzi będą dostępne. Porównaj surowe dowody oraz liczby; niezmieniona suma może ukrywać inny zestaw adresów.
- Zbadaj pozostałe nieznane wiersze osobno zamiast uznawać je za rozwiązane.
Jeśli poprawiona odpowiedź jest prawidłowa, ale wynik Google się nie zmienił, sam ten obraz sytuacji nie wyjaśnia stanu przetwarzania. Wskazówki Google dotyczące problemów z noindex odsyłają do Sprawdzania adresu URL i raportów Indeksowanie stron, aby sprawdzić, co otrzymał Google. Udane ponowne sprawdzenie potwierdza aktualnie zaobserwowaną odpowiedź, a nie natychmiastowe skanowanie czy obiecany wynik wyszukiwania.