Google Search Console bölümünde noindex etiketi tarafından hariç tutulan hatası bilerek / bilmeyerek oluşturulan bir sayfa dizini hatasıdır. Bu hata Googlebotları tarafından fark edilir ve size, taranmadığını bildirir. Eğer bir yanlışlık olduğunu düşünüyorsanız noindex kontrolü yapıp hatayı aramalısınız. Hatanın bulunmadığından eminseniz de tekrar inceleme bağlantısı gönderebilirsiniz.
Bu yazıyı hazırlama nedenim: bir müşterimin “noindex” etiketi tarafından hariç tutulan sorunu ile karşılaştığını ve sayfalarının dizine eklenmediğini belirtmesiyle oluştu. Kategorilerden bazılarının SERP sonuçlarında yer almadığını ifade etti. Detaylı bir analiz sonucu yanlışlıkla noindex oluşturduğunu tespit ettim.
Yanlışlıkla noindex talimatı vermek Wordpress sitelerde oldukça yaygındır. Bunun için SEO şablonu oluşturdum. Bu şablona linkleri yapıştırarak “noindex” tarafından hariç tutulan hatasını görüntüleyebilirsiniz. Ayrıca, screaming frog ve robots.txt ile kontrol ederek bu hataya neden olan linkleri de görüntüleyebilirsiniz.
Googlebot bazen cache tutmadan önceki robots.txt ele alır. Web site sahipleri onu değiştirse de cache tuttuğu için Google Search Console bölümünde Sayfa Dizini hatası olarak karşımıza çıkar. Bu gibi durumu test etmek için Google robots.txt kontrol aracını kullanabilirsiniz.
Noindex etiketi tarafından hariç tutulan sayfa ya da link hatasının çıkma nedenleri:
- Kullanıcı tarafından robots.txt bilerek komut girmek
- Wordpress sitelerde boş olan kategoriler otomatik olarak noindex alır bundan dolayı olabilir
- Search komutlarını engellemek
- Eklenti ya da temadan kaynaklanan noindex hataları
- Wordpress > ayarlar > okuma > Arama motoru görünürlüğü bölümünü açık bırakmak
Bugüne kadar sunucudan kaynaklanan noindex hatası görmedim.
Eğer eklenti ya da temadan kaynaklanan bir noindex hatası olduğuna eminseniz ilk yapmanız gereken debug mode aktif edip hatayı görmeniz. Eğer bu konuda bilginiz bulunmuyorsa Health Check & Troubleshooting eklentisi ile hatanın temadan mı eklentiden mi kaynaklandığını tespit edebilirsiniz.
Şablon İle Noindex Etiketi Belirleme
Oldukça basit ve kullanışlı bir şablon hazırladım. Bu şablon yine ücretsizdir. Ömür boyu da kullanım hakkınız bulunur. Şablon içerisinde Linkler ve meta robotsları belirleyen sütunlar bulunur. Başka bir şey bulunmaz. Oldukça basit.
Şablon içerisinde makro bulunmadığı için izin almanıza gerek yok. B sütununda sadece bir tane formül var. O formül de şöyle:
Oldukça basit olduğu için kullanımı da kolay. Şablon görünümü
Eğer meta robots özelliklerinde noindex bulunuyorsa resimde gördüğünüz üzere noindex yazar. Bulunmuyorsa index etiketi alır. İkisini de resimde görebilirsiniz.
Şablonu kullanmak da ulaşmak da oldukça kolay. İlk olarak aşağıdaki bağlantıdan kendinize bir kopya edinin.
Bu bağlantı ile direkt kopyasını oluşturabilirsiniz. İlk olarak Google Search Console bölümünü açıyorsunuz ve “noindex” tarafından hariç tutulan sayfa dizini bölümüne tıklıyor ve sağ üstten dışa aktar diyorsunuz.
Dışa aktarma seçeneklerinden ben olsam Google e-tablonlar seçerdim. Aktarıldıktan sonra linkleri seçiyoruz ve oluşturduğum şablonda a sütununa yapıştırıyorsunuz. B sütununda bulunan formül otomatik olarak çalışacak ve noindex varsa tespit edecek.
Noindex hatası olanların nedenlerini araştırıp düzeltme yapmalısınız.
Screaming Frog ile Noindex Belirlemek
Screaming Frog ile web site sahibi tarafından verilen noindex etiketini belirlemek mümkün. SEO için sıklıkla kullandığımız bu materyal noindex etiketi tarafından hariç tutulan hatası için de yardımcı oluyor. Adım adım göstereceğim. Oldukça basit bir şekilde bulabiliriz.
- İlk olarak Screaming Frog açıyoruz. Arama çubuğuna sitemizin linkini yapıştırıyoruz.
- Ardından resimde olduğu gibi URL bölümüne tıklıyoruz. index bölümüne tıklayarak noindex olanları üste çıkarmasını istiyoruz.
Gördüğünüz üzere kullanıcı tarafından verilen noindex etiketi Screaming Frog ile bu şekilde tespit ediliyor.
Robots.txt Noindex
Bazen web site sahipleri noindex etiketini yanlışlıkla robot.txt yükleyebiliyor. Eğer bilerek yapılmışsa önemli değil. Lakin yanlışlıkla yapmış olmanıza karşın göstereceğim.
İlk olarak web sitenizin (ana sayfa) /robots.txt bakarak taramaya engel bir durum var mı kontrol etmelisiniz. En çok, disallow:/search/ yapıldığı için /search/{search_term_string}/ noindex olarak karşımıza çıkıyor.
Biraz da başka bir 4xx sorunu nedeniyle engellendi hatasına benziyor. Kullanıcının arama sorgusunun index almasını istemiyor olabilirsiniz. Bu gibi durumlarda kullanılıyor. Lakin Googlebot taradığı için noindex çıkıyor.
Çözüm Önerileri
Bu problemin çözümü birden fazladır. Aslında sorunun kaynaklandığı nedene göre çözüm de değişiyor.
Robots.txt çözümü: Şablon aracılığıyla tespit ettiğimiz durumu çözmek için ilk olarak robots.txt durumundan düzeltmemiz lazım. (hata buradaysa)
- Rank Math SEO eklentisine girin.
- Genel Ayarlar > Düzenle robots.txt bölümüne giriş yapın
- Eğer noindex etiketi tarafından hariç tutulan hatası buradaysa yolu kontrol ederek allow – disallow edin.
- Kaydet diyerek Google robots.txt check ile kontrol edin.
- Ardından da incelemeye gönderin
Robots.txt ile kontrol ettikten sonra .htaccess kontrolü yapmak gerekiyor.
.htaccess noindex çözümü:
.htaccess dosyanıza yanlışlıkla bir kod eklemiş olabilirsiniz. Bunu nadiren virüsler yapar. Aşağıdaki gibi bir kod olup olmadığını kontrol etmelisiniz.
Bu tip robots-tag “noindex” modülü yazılıysa düzelterek hataya çözüm üretebilirsiniz. htaccess dosyanıza sunucudan erişebilirsiniz. Yine de Rank Math ile göstermek gerekirse;
- Rank Math SEO eklentisine giriş yapınız.
- Genel Ayarlar > düzenle .htaccess bölümüne tıklayınız.
- htaccess ile hata yaparsanız site durumunuz bozulabilir bunun için dikkatli olmalısınız.
- Noindex etiketi eklediğiniz modülü düzenleyiniz ve kaydet tuşuna basınız
- Cache temizliği yaparak GSC ile inceleme talebi gönderiniz.
Yazı / ürün / sayfa içinden düzenlemek:
Bir sayfada “noindex” etiketi tarafından hariç tutulan problemini düzeltmek oldukça kolay.
- Bir yazıyı açıyoruz
- Ardından bize göre sağ menüden Rank Math paneline giriyoruz.
- Gelişmiş bölümüne giriyoruz
- Burada dizin yok (noindex) bölümünü aktif etmişsek geri kapatıyoruz
- Hatamız çözüme kavuşuyor.
Üç öneriyi de uygulayarak sorunun kaynağını bulabilirsiniz. Sorunun kaynağı ile de çözmek oldukça kolay.
SEO Açısından “Noindex” Etiket Durumu
SEO (arama motoru optimizasyonu) için birden fazla kriter olduğundan tek bir neden bazı şeyleri değiştirmez. Eğer bilerek bazı sayfaları, komutları noindex ile dizine eklenmesini istemiyorsanız burada bir sakınca yok.
İstemeyerek bazı sayfalarınızı “noindex” etiketi ile belirttiyseniz bu duruma acil bir çözüm bulmalısınız. Çünkü noindex hatası, Googlebotların taranmasını engelleyecek ve dizine eklenmesini de durduracak. SERP sonuçlarında yer almak istiyorsak mutlaka index durumunu kapatmamız lazım. Belirli zaman sonra da “noindex” etiketi “nofollow” etiketine dönüşecek ve Googlebotlarına bu durum bildirilecek.
Eğer “noindex” tarafından hariç tutulan sayfanız bir taneyse endişe etmenize gerek yok. Bu sayı çoğalıyorsa mutlaka incelenmesi gerekiyor. Ayrıca, ana sayfa gibi temel sayfalarınızı da noindex bırakmamanız önerilir. Çünkü tekrar index alması toparlanması oldukça uzun sürer.
Toparlıyorum
Noindex tarafından hariç tutulan hatası Google Search Console bölümünde nadiren de olsa karşılaştığımız bir hatadır. Bilerek yapılıyorsa yine de log analizi yaparak tarama durumu incelenmeli. Bilmeyerek yapılıyorsa paylaştığım şablon ile incelenerek gerçekten linklerin noindex alıp almadığı araştırılmalıdır.
Tüm bu sonuçlar dizine ekleme sorunlarını getireceğini unutmamalısınız. Her ne kadar hafif bir sorun gibi gözükse de GSC’de sayfa dizini bölümünde hata olarak karşımıza çıkar.
