Googlebot Nedir?

Google tarafından web sitelerini gezmesi için oluşturulmuş bir web gezginidir. Dijital ortamda yer almakta olan bütün web sitelerini ziyaret ederek bağlantıları tarayarak listeler. Web sitelerinin içinde yer ala içerikleri alarak içeriklerin bağlantılarını belirleyerek toplanan bilgilerin arama dizinine güncellemelerini Google’a iletmektedir. 

Dizinler, Googlebot tarafından gönderilen bilgiler ışığında güncellenebilmektedir. Google dizinleri, web sitelerinin karşılaştığı yerler olup sıralanmaktadır. Web sitenizin iyi bir sıralamada yer alması için Googlebot tarafında görünebilir olması önemlidir. 

Googlebot web sayfalarını nasıl görür?

Googlebot web sitelerini bileşenlerine kadar görebilmektedir. Googlebot tarafından ulaşılması mümkün olmayan web sayfaları Google Dizini içerisinde görünemez. Googlebot sayfaları görüyor olsa bile tam olarak anladığı söylenemez. Örneğin; Web sayfanız içinde bir görsel yer alıyorsa Googlebot görseli göremez yalnızca görseli oluşturan kodları görebilmektedir. O sebeple dizinler içerisinde görsel yer almamaktadır. Ek olarak;

• Robots.txt tarafından engellenmiş web siteniz varsa.

• Web sitenizde ki bağlantılar yanlış yapılandırılarak okunamaz hale getirildi ise,

• Web siteniz sorun yaşama olasılığı yüksek gezginler ile yapılandırılmış ise,

• HTML kodlarında hata olup yanlış ve kötü kodlamalar yapılmış ise,

• Karmaşık bağlantılara sahip web sitelerine Googlebot erişim sağlayamaz. 

Bu durumların web siteniz içinde geçerli olup olmadığını öğrenmek için mevcut Google hesabınız yardımı ile arama konsoluna “getir ve oluştur” şeklinde kontrol etmeniz gerekir. Bu yöntemle web sitenizin nasıl göründüğünü görmeniz mümkündür. 

Googlebot bütün web sitelerine erişim sağlayabilir mi?

CSS ve JavaScript dosyalarının robots.txt doyası tarafından engellenmesi demek Googlebot’un web sitenizin içeriğiyle ilgili yanlış bir şekilde algılaması anlamına gelir. Bu durum web site içeriğinizin eksik algılanmasından daha kötü bir durumdur. 

CSS ve JavaScript kullanılarak oluşturulmuş web sitelerinin düşündüğümüz zaman CSS ve JavaScript’ine erişim sağlayamaması durumunda o web sitelerinin mobil olabileceğini anlayamamış olur. 

Googlebot’u takip etmeniz mümkündür. 

Googlebot’u nasıl kontrol edebiliriz?

• En yaygın kullanılan yöntem olarak robots.txt dosyası kullanarak.

• Web sitenizde yer almakta olan meta verilerine robot talimatı vererek.

• Başlıklarınıza robot talimatı ekleyebilirsiniz.

• Web site haritanızdan yardım alabilirsiniz.

• Google Search Console kullanarak Googlebot kontrolü yapabilirsiniz.

Site haritaları;

Site haritaları Googlebot’un web sitenizi anlamasına en büyük yardımcı denilebilir. Google gibi arama motorlarına web sitenizin işleyiş organizasyonu hakkında bilgi vererek web sitenizde yer almakta olan sayfaların sıralanmasını belirtmektedir. Googlebot içerisinde web sitelerinizin ziyareti sırasında kullanmak üzere URL’lerin listesi yer almaktadır. Bunları rehber ederek kullanırlar. Web sitelerinizi akıllıca tarama amaçlı kullanılmaktadır. 

Web siteniz;

• Büyük

• İzole edilerek birbirinden farklı çok çeşitli içeriklerde sayfalara sahip ise,

• Yeni bir web site olup çok az sayıda bağlantı içeriyorsa,

• Zengin medya içeriği kullanıyor ise,

Web siteniz haberlerde gösteriliyor ve site haritalarına uyumlu açıklamalarda bulunuyorsa mutlak suretle web siteniz için site haritası kullanmanız gerekmektedir.