Toplu Meta Robots Kontrolü ile en fazla 20 herkese açık URL’deki noindex ve nofollow bildirimlerini karşılaştırın. Araç, HTML robots etiketlerini ve X-Robots-Tag yanıt başlıklarını okuyup gözlenen sonuçları seçtiğiniz tarama robotu kapsamına göre gruplar. Böylece farklı sayfa şablonlarında beklenmeyen bir dışlamayı bulabilir veya değişiklik sonrası bilinçli dışlamaları doğrulayabilirsiniz. Rapor, aracın okuyabildiği yanıtları gösterir; Google’ın bu sayfaları dizine ekleyip eklemediğini belirlemez.
Kontrol edilecek sayfaları ve tarama robotu kapsamını seçin
Kontrol etmek istediğiniz değişiklikten etkilenen sayfalarla başlayın. Bir ürün şablonunu düzenlediyseniz birkaç ürün URL’si ve bir kategori sayfası ekleyin. Taşıma sonrasında önemli açılış sayfalarını ve yönlendirilmesi gereken URL’leri dahil edin. Küçük ama farklı sayfa türlerini temsil eden bir liste, bu türlerin davranışını karşılaştırmanıza yardımcı olur; sitenin tamamının aynı şekilde çalıştığını kanıtlamaz.
Hangi sayfaların aramada yer almaya uygun olması, hangilerinin bilinçli olarak dışlanması gerektiğini belirleyin. Örneğin herkese açık bir ürün sayfası ile teşekkür sayfasının gereksinimleri farklı olabilir. Bir noindex uyarısı, yalnızca uyarı simgesi taşıdığı için değil, bu gereksinimle çeliştiğinde incelenmelidir.
Tam HTTP veya HTTPS URL’lerini her satıra bir tane gelecek şekilde yapıştırın; boş olmayan satır sayısı 20’yi aşmasın. Normalleştirildikten sonra aynı olan URL’ler bir kez kontrol edilir. Ancak sınırı aşan bir listeyi göndermeden önce tekrarları kaldırın. Araç yalnızca verdiğiniz adresleri kontrol eder; alan adınızdan başka sayfalar keşfetmez veya sitemap dosyası içe aktarmaz.
Genel bildirimlerle Googlebot’a özel bildirimleri birlikte yorumlamak için Googlebot’u seçin. Genel tarama robotları seçeneği, genel bildirimlere odaklanır. Bu seçim raporda hangi talimatların geçerli sayılacağını değiştirir. İsteği gerçek bir Googlebot ziyaretine dönüştürmez veya Google’ın aynı yanıtı aldığını kanıtlamaz.
Noindex, noindex gözlenmedi ve bilinmiyor sonuçlarını okuyun
Özet ve filtreler URL’leri gözlenen noindex sonucuna göre gruplar. Noindex uyarısı, geçerli bir noindex talimatının bulunduğunu belirtir. Yeşil Noindex gözlenmedi rozeti, geçerli kaynaklar eksiksiz okunurken böyle bir talimat bulunmadığını gösterir. Bilinmiyor, aracın bulunmadığına dair kesin sonuca ulaşamadığı anlamına gelir. Yeşil renk dizine eklenmeyi doğrulamaz; nötr bilinmiyor rozeti de sayfanın buna izin verdiğini göstermez.
Sonucun yanındaki HTTP durumunu, son URL’yi ve kanıtı okuyun. Gönderdiğiniz URL yönleniyorsa bildirimler, bu kontrolün ulaştığı son yanıtı anlatır. Tek başına durum kodu, bir robots bildirimi bulunup bulunmadığını söylemez. Ayrı gösterilen nofollow değerini de okuyun; özet iki bildirimi birleştiren bir puan değildir.
Aşağıdaki örnek durumlar, sayfanın amacının sonraki adımı nasıl değiştirdiğini gösterir. Bunlar gerçek bir web sitesi taramasından alınmış sonuçlar değildir.
| Sayfanın hedeflenen davranışı | Okunan kanıt | Yapılacak işlem |
|---|---|---|
| Herkese açık ürün aramada görünmeli | Geçerli noindex bulundu |
Etiketi veya başlığı bulun ve istenmeyen dışlamayı inceleyin |
| Teşekkür sayfası aramada görünmemeli | Amaçlanan noindex bulundu |
Bildirimin ve tarama robotu kapsamının gereksinimle eşleştiğini doğrulayın |
| Herkese açık makale aramada görünmeli | Noindex yok; kaynaklar eksiksiz okundu |
Makale aramada yoksa diğer dizine ekleme kontrollerine devam edin |
| Herhangi bir sayfanın kaynağı okunamıyor | Kesinleşmiş noindex yok; kapsam eksik |
Talimatları değiştirmeden önce eksik kanıtı araştırın |
Kısmi bir yanıt yine de kesin bir olumlu bulgu sağlayabilir: HTML okunamasa bile okunabilen bir başlıkta noindex bulunması kanıt olmaya devam eder. Bunun bulunmadığı sonucuna varmak ise yeterli kapsam gerektirir. PDF veya başka bir HTML dışı kaynakta HTML kapsamı Uygulanamaz olabilir; ilgili kaynak yanıt başlığıdır. Uygulanamaz ve kullanılamıyor farklı durumları anlatır.
HTML etiketlerini ve X-Robots-Tag başlıklarını birlikte kontrol edin
Bir HTML etiketi ile yanıt başlığı farklı talimatlar taşıyabilir. Örneğin son HTML yanıtının şunu içerdiğini düşünün:
<meta name="robots" content="index, follow">
Yanıtta şu başlık da bulunsun:
X-Robots-Tag: noindex
HTML’ye index eklemek, geçerli başlıktaki noindex talimatını etkisizleştirmez. Google’ın robots bildirimleri referansı, birden fazla bildirimin nasıl birleştiğini ve kısıtlayıcı talimatların çelişkileri nasıl çözdüğünü açıklar. Bu örnekte HTML etiketini tekrar tekrar değiştirmek yerine başlık ayarını inceleyin. Rapor her bildirimin kaynağını, tarama robotunu ve ham değerini korur; böylece ilgili talimatı bulabilirsiniz.
Kapsam da önemlidir. Index, follow diyen genel bir robots etiketi, noindex diyen bir googlebot etiketiyle birlikte bulunabilir. Googlebot seçimi özel dışlamayı içerirken genel seçenek genel bildirimleri dikkate alır. Dolayısıyla iki kontrol de Google’ın gerçek dizine ekleme durumunu ölçmediği halde farklı sonuçlar çıkabilir.
None kısaltması hem noindex hem nofollow anlamına gelir. Başka bildirimler daha ayrıntılı yorum gerektirebilir: örneğin indexifembedded, başka bir yerde gömülü olarak kullanılan içerikle ilgilidir. Bu toplu özet iki bildirimin varlığını kaydeder; her bildirim, gömülü kullanım durumu veya arama özelliği için eksiksiz bir karar vermez. Bir istisna incelenmesi gerekiyorsa ham kanıtı saklayın.
Nofollow ile dizine eklenmeyi ayrı değerlendirin
Noindex, sayfanın arama sonuçlarına dahil edilmesiyle ilgilidir. Sayfa düzeyindeki nofollow, o sayfadaki bağlantıların takip edilmesiyle ilgilidir. Noindex, follow bildirimi kendiliğinden çelişkili değildir: site sahibi sayfayı dışlamak, bağlantılarını ise keşfedilebilir bırakmak isteyebilir. Her kısıtlayıcı bildirimi hata saymak yerine bu seçimleri sayfanın amacıyla karşılaştırın.
Toplu kontrol aracı sayfa düzeyindeki bildirimleri raporlar. Her bağlantının rel="nofollow", sponsored veya ugc niteliğini incelemez. Bu yüzden sayfa düzeyindeki nofollow için Hayır sonucu, her bağlantının nasıl işaretlendiğini belirlemez.
Google’ın bağlantı nitelikleri rehberi, bağlantı verilen URL’lerin başka kaynaklardan da keşfedilebileceğini açıklar. Burada gözlenen nofollow, bu hedeflerin hiçbir zaman taranmayacağını veya dizine eklenmeyeceğini kanıtlamaz. Sorunuz bu sayfanın kendisinde dışlama olup olmadığıysa noindex kanıtına dönün.
Bildirimleri değiştirmeden önce bilinmiyor sonuçlarını araştırın
Etiketin eksik olduğunu varsaymak yerine kapsam ve kanıtla başlayın. Başarısız bir istek, okunamayan belge veya desteklenmeyen bildirim, aracın karar verememesine neden olabilir. Son URL varsa beklediğiniz hedef olup olmadığını kontrol edin. Giriş sayfasına yönlendirme veya erişim reddi yanıtı, asıl sayfanın normal herkese açık içeriğini anlatmaz.
Bu araç HTTP yanıtını okur; oluşturulmuş sayfayı görmek için JavaScript çalıştırmaz. Yalnızca betikler çalıştıktan sonra eklenen talimatlar bu görünümün dışındadır. Benzer şekilde giriş gerektiren, otomatik erişimi engelleyen veya ziyaretçiye göre yanıt değiştiren bir sayfa, tarayıcınızda gördüğünüz içeriği sunmayabilir. Bilinmiyor satırını yeşile çevirmek için yararlı bildirimleri kaldırmayın. Önce neyin gerçekten okunabildiğini belirleyin, ardından herkese açık yanıt kullanılabilir olduğunda tekrar deneyin.
Tek bir URL’nin bildirimlerine ve istisnalarına daha yakından bakmak için Noindex Kontrolü aracını kullanın. O sayfayı ayrı incelerken toplu sonucu karşılaştırma kaydı olarak saklayın.
Tarama izni başka bir sorudur. Bu araç robots.txt okumaz; ilgili yol kuralları için Robots.txt Test Aracı kullanın. Google’ın noindex talimatını görmesi için sayfaya erişebilmesi gerekir. Bu nedenle bir tarama engeliyle dışlamayı birlikte kullanıyorsanız araç URL’yi alabilse bile erişimi ayrıca kontrol etmelisiniz.
Bulguları dışa aktarın ve aynı sayfaları yeniden kontrol edin
CSV indirmeden önce incelemek istediğiniz grubu filtreleyin. CSV, görünen satırların URL’sini ve durum sınıflandırmasını içerir. Bu, kısa bir iş listesidir; robots kanıtlarının tamamını içermez. Her ham bildirim, nofollow değeri veya tüm yanıt ayrıntıları CSV’de bulunmaz. Alıcının ayrıntılı kanıta ve kapsam bilgisine ihtiyacı varsa tam raporu JSON olarak indirin.
Tekrarlanabilir bir düzeltme için:
- Gönderilen URL’leri, seçilen tarama robotu kapsamını ve ilk raporu birlikte saklayın. Her sayfanın hedeflenen davranışını bulguların yanına yazın.
- Bildirimin kaynağını bulun. İstenmeyen HTML etiketini ilgili sayfada veya şablonda; istenmeyen başlığı ise onu yayımlayan ayarda düzeltin. Bilinçli dışlamaları koruyun.
- Güncellenmiş herkese açık yanıtlar hazır olduğunda aynı listeyi ve kapsamı yeniden kontrol edin. Sayılarla birlikte ham kanıtı da karşılaştırın; değişmeyen bir toplam farklı URL’lerden oluşabilir.
- Kalan bilinmiyor satırlarını çözülmüş saymak yerine ayrı araştırın.
Yeni yanıt doğruysa ama Google’daki sonuç değişmediyse bu anlık kontrol tek başına işleme durumunu açıklayamaz. Google’ın noindex sorun giderme rehberi, Google’ın ne aldığını kontrol etmek için URL Denetleme ve Sayfa Dizine Ekleme raporlarını önerir. Başarılı tekrar kontrolü mevcut gözlenen yanıtı doğrular; hemen yeniden taranmayı veya belirli bir arama sonucunu garanti etmez.