Bir URL'yi taratmak istememekle arama sonucunda göstermemek farklı işler. robots.txt taramayı yönetir; gizli dosyaları koruyan bir erişim denetimi değildir. Başka bir sayfadan bağlantı verilen, taramaya kapalı bir URL yine arama sonucunda görünebilir.
1. Giriş gerektiren özel dosya
Fatura, müşteri belgesi veya yönetim dosyası için çözüm oturum ve erişim yetkisidir. Klasör adını robots.txt içine yazmak dosyayı özel yapmaz. Denemeyi oturum açılmamış bir tarayıcıda yapın: belgeye erişilebiliyorsa önce erişim kuralını düzeltin.
2. Herkesin okuyabildiği ama indekslenmesini istemediğiniz HTML sayfası
Sayfanın head bölümünde şu talimat kullanılabilir:
Google'ın bu talimatı görebilmesi için sayfayı tarayabilmesi gerekir. Aynı URL'yi robots.txt ile engelleyip talimatın okunmasını beklemeyin. Güncellemenin arama sonuçlarına yansıması yeniden taramaya bağlıdır.
3. Gereksiz tarama üreten bir URL grubu
Önce gerçekten aynı işi yapan URL'leri ve hangi botu hedeflediğinizi belirleyin. Bütün siteyi engelleyen bir kuralı örnek dosyadan canlıya taşımayın. robots.txt adresinin kök dizinde erişilebildiğini ve beklediğiniz metni döndürdüğünü kontrol edin.
Küçük test planı
1. Giriş gerektiren özel dosya
Fatura, müşteri belgesi veya yönetim dosyası için çözüm oturum ve erişim yetkisidir. Klasör adını robots.txt içine yazmak dosyayı özel yapmaz. Denemeyi oturum açılmamış bir tarayıcıda yapın: belgeye erişilebiliyorsa önce erişim kuralını düzeltin.
2. Herkesin okuyabildiği ama indekslenmesini istemediğiniz HTML sayfası
Sayfanın head bölümünde şu talimat kullanılabilir:
HTML:
<meta name="robots" content="noindex">3. Gereksiz tarama üreten bir URL grubu
Önce gerçekten aynı işi yapan URL'leri ve hangi botu hedeflediğinizi belirleyin. Bütün siteyi engelleyen bir kuralı örnek dosyadan canlıya taşımayın. robots.txt adresinin kök dizinde erişilebildiğini ve beklediğiniz metni döndürdüğünü kontrol edin.
Küçük test planı
- Bir normal içerik, bir özel belge ve bir noindex sayfasını ayrı satırlara yazın.
- Her biri için “oturumsuz erişim”, “tarama izni” ve “indeksleme tercihi” alanlarını doldurun.
- Sayfa kaynağında talimatı, Search Console URL denetiminde görünen durumu kontrol edin.
Bağlantı ve içerik kilitli
Görmek için konunun ilk mesajını beğenin ve konuya bir yorum yazın.Her iki işlem de tamamlanmalı. Ardından sayfayı yenileyin.
· Görmek için konunun ilk mesajını beğenin ve konuya bir yorum yazın.Her iki işlem de tamamlanmalı. Ardından sayfayı yenileyin.
Bağlantı ve içerik kilitli
Görmek için konunun ilk mesajını beğenin ve konuya bir yorum yazın.Her iki işlem de tamamlanmalı. Ardından sayfayı yenileyin.
Görmek için konunun ilk mesajını beğenin ve konuya bir yorum yazın.Her iki işlem de tamamlanmalı. Ardından sayfayı yenileyin.