Semalt, Googlebot'un Bazı Sitelerdeki Her Sayfayı Taramamasının Ana Nedenlerini Açıklıyor
Bazı sitelerinin Googlebot tarafından taranmadığından şikayet eden müşterilerimiz oldu. SEO uzmanları olarak, müşterilerimizin mutlu olabilmeleri ve sitelerini en iyi durumda tutabilmeleri için sorunu bulmak ve düzeltmek bizim işimiz.
Google'dan John Mueller, herhangi bir sitedeki sayfaların nasıl tarandığını etkileyen bazı faktörleri açıklıyor. Tabii ki, bu spesifik değildi, ama bizi doğru yöne işaret ediyor. Bu gönderide John, bir sitedeki bazı sayfaların neden taranmadığını da vurguluyor.
Bu yanıta yol açan soru, Google'ın neden web sitelerini nispeten yavaş bir hızda taradığıyla ilgiliydi; bu, bugün çok sayıda web sitesini idare etmek için yetersiz.
Google Tarama Bütçesini Anlama
Bu, Google'ın bir web sitesini ne sıklıkta taradığı hakkında çok şey açıkladığı için odaklanmayı seçtiğimiz ilk alandır. Googlebot (Google'ın web tarayıcısının adı) web sayfalarından geçer ve SERP'de sıralanabilmeleri için dizine eklenmesini sağlar. Bununla birlikte, çok sayıda web sitesi bir sorun haline gelir ve bu nedenle Google, yalnızca yüksek kaliteli web sayfalarını dizine eklediği bir strateji geliştirdi. Bunu bir çeşit filtre olarak düşünün. Google, tüm bu kaynakları büyük olasılıkla kullanıcıyla alakasız sayfalara harcamak yerine, yalnızca yüksek kaliteli web sayfalarına odaklanır.
Bir sitenin tarama bütçesi, Google'ın o siteyi taramaya ayırdığı kaynak miktarıdır. Taranan her şeyin dizine eklenmediğini de belirtmek önemlidir. Web sayfaları ancak tarandıktan ve değerli kabul edildikten sonra dizine eklenir.
Tarama bütçeniz tükendiğinde, Google web sayfalarınızı taramayı durdurur.
Tarama Bütçenizi Belirleme
Bir web sitesi tarama bütçesi dört ana faktör tarafından belirlenir:
- Site Boyutu: Daha büyük web sitelerinin daha büyük tarama bütçeleri vardır.
- Sunucu Kurulumu: sitenizin performansı ve yükleme süresi, sitenize ne kadar tarama bütçesi ayrılacağını etkileyebilir. Söylediğimiz gibi, daha iyi siteler daha iyi tarama bütçeleri alır, bu nedenle siteniz mükemmel performans gösterdiğinde daha fazla tarama bütçesi alır.
- Güncelleme Sıklığı: Düzenli güncellemeler, düzenli olarak yeni içerik akışı anlamına gelir. Google, düzenli güncellemeler alan web sitelerine öncelik verecek ve onlara daha önemli bir tarama bütçesi verecektir.
- Bağlantılar: dahili bağlantı yapınız ve gelen bağlantılar, web sitenizin ne kadar tarama bütçesi alacağına da katkıda bulunur.
İçeriğinizin bir kısmı bir web sitesi sahibi olarak taranmadığında neden bu kadar endişelendiğinizi anlamak kolaydır. Bu, özellikle en değerli içerik parçalarınız dışarıda bırakıldığında, sıralama şansınızı azaltır.
Tarama Sorunları Nasıl Onarılır
Meta etiketleriniz veya robots.txt dosyanızla ilgili sorunları düzeltme
Bu kategoriye giren sorunların tespit edilmesi ve çözülmesi genellikle kolaydır. Bazen, web sitenizin tamamı veya web sitenizdeki belirli sayfalar, Googlebot'un bunlara girmesine izin verilmediği için Google tarafından görülmeyebilir.
Sayfanın taranmasını engelleyen bir dizi bot komutu vardır ve bu, meta etiketlerinizi ve robots.txt dosyanızı kontrol ederek düzeltilebilir. Doğru parametrelere sahip olmak ve bunları yeterince kullanmak aslında tarama bütçenizden tasarruf etmenize ve Googlebot'u doğru yöne yönlendirmenize yardımcı olacaktır.
Takip etmeyen bağlantılara sahip olmak da mümkündür. Bu durumda, tarayıcı bir sayfayı dizine ekler ancak bağlantıyı izlemesi durdurulur. Googlebot bu dahili bağlantıları yeni sayfalar bulmak için kullandığından, bu siteniz için iyi değildir. Bu bizi bir sonraki noktaya götürür.
Dahili Kırık Linkler
Kırık bağlantılara sahip olmak, hem kullanıcılar hem de tarayıcılar için asla iyi bir deneyim değildir. Dizine alınan her sayfa için sitenin tarama bütçesinin bir kısmı çıkarılır. Bunu bilerek, çok fazla bozuk bağlantı olduğunda, botun tüm tarama bütçenizi onları dizine eklemek için harcayacağını, ancak alakalı ve kaliteli sayfalarınıza ulaşamayacağını anlıyoruz.
Bozuk bağlantılarınızı düzeltmek, kaliteli içeriğinizin Googlebot için daha görünür olmasına yardımcı olur.
Dahili bozuk bağlantılar, URL yazım hatalarının (köprü bağlantılı URL adresinde yazım hatası olduğu durumlarda), güncel olmayan URL'lerin veya erişimi reddedilen Sayfaların bir sonucu olabilir.
Sunucuyla İlgili Sorun
Google'ın belirli sayfaları bulamamasının nedeni sunucunuz da olabilir. Web sitenizde yüksek miktarda 5xx hatası olması, sunucunuzda bir sorun olduğuna dair bir işaret olabilir. Bu sorunu çözmek için hataların olduğu alanları yeniden yapılandırıyor ve hataları düzeltiyoruz.
Bazen sunucunuz aşırı yüklenmiş olabilir. Bu durumda kullanıcının ve botun isteklerine yanıt vermeyi durdurur. Bu olduğunda, izleyicileriniz ve botlar o sayfaya erişemez.
Aşırı durumlarda, bir web sunucusunun yanlış yapılandırılmasına bakıyor olabiliriz. Burada site, insan kullanıcılar tarafından görülebilir, ancak site tarayıcılarına hata mesajı vermeye devam ediyor. Bu sorun, fark edilmesi zor olabileceğinden oldukça zordur. Bu durumda, web sayfasına Googlebot erişemez, bu da botlar tarafından taranmasını ve dizine eklenmesini imkansız hale getirir.
Site Haritası XML ile ilgili sorunlar
Site haritası, web sitenizdeki çok çeşitli öğeleri etkiler. Site haritanızdaki URL'leri alakalı tutmak önemlidir. Güncellenmeleri ve düzeltilmeleri gerekir. Bu önemlidir çünkü tarama bütçeniz yetersiz olduğunda site haritanız tarayıcı botlarını en alakalı sitelere yönlendirir. Bu şekilde, en önemli sayfalarınız yine de dizine eklenir.
Web Mimarisi ile İlgili Hatalar
Bu, çözülmesi en zor sorunlardan biridir. Bu kategoriye giren sorunlar, web sitenizdeki tarayıcıları engelleyebilir veya yönünü bozabilir. Dahili bağlantınızla ilgili sorunlar şeklinde gelebilir. Veya yanlış yönlendirmeler söz konusu olabilir. Bu durumda, kullanıcılar ve botlar daha az alakalı sayfalara yönlendirilir. Son olarak, yinelenen içeriğimiz var. Ne yazık ki, yinelenen içerik en yaygın SEO sorunlarından biridir. Bu aynı zamanda tarama bütçenizin bitmesinin ana nedenlerinden biridir ve Google'ın bazı sayfalarınızı taraması zorlaşır.
Çözüm
Google, içeriğinizi yalnızca içerikle ilgili sorunlar veya yanlış anahtar kelimeler için optimize ettiğiniz için bulamıyor. Optimize edilmiş içerik bile taranabilirlik sorunları yaşıyorsa Google'a görünmeyebilir.
Neyin yanlış olduğunu bulmak ve bu sorunu nasıl çözebileceğimize dair bir plan hazırlamak için buradayız. Bize Ulaşın bugün ve Semalt içeriğinizi radara geri koymanıza yardımcı olabilir.