Bu hafta başında Google Search Console tüm dünyadaki Web yöneticilerini “Googlebot sitenizdeki CSS ve JS dosyalarına erişemiyor” başlıklı bir e-posta ile uyardı.
Popüler Yazılar
Son Yazılar
1,670 okunma
Google: CSS ve JS Dosyalarınızı Google Botlarının Erişimine Açın!
Eğer siz de benzer bir mail aldıysanız, hiç telaşa kapılmayın. Bu yazımızda Google robotlarının erişim sorunu ve buna karşılık değerlendirebileceğiniz çözüm önerilerimizi paylaşacağız.
Geçtiğimiz aylarda Google Search Console hakkında yayınlanan bir anket, Web yöneticilerinin Search Console’dan neler beklediğini anlamaya çalışmaktaydı. Anketin detaydaki amacı ise, Web yöneticilerinin hangi konularda uyarı postası almak istediğiyle ilgiliydi. Anketin sonuçları hakkında henüz bir bilgimiz olmasa da, geçtiğimiz haftalarda gelen e-postadan anladığımız kadarıyla Web yöneticilerinin çoğunluğu Googlebot erişiminin sıkıntılı olduğu bölümlerde e-posta almak istemekte. Bizce de mantıklı bir istek, ancak Google’dan “geldik, kapınızı çaldık çaldık evde yoktunuz” temalı bir mesaj almak telaşlanmanıza sebep olmuyor mu?
Muhtemelen Googlebot’un sitemizdeki kaynaklara erişmek konusunda neden sıkıntı yaşadığını herkes düşünmüştür. E-postadaki açıklamaya bakınca, ufak bir de tehdit unsuru barındırdığını ifade edersek yalan söylemiş olmayız:
Alıcı: https://www.example.com/ web sitesinin yöneticisi, Google sistemleri, yakın zamanda ana sayfanızla ilgili, algoritmalarımızın içeriğinizi oluşturma ve dizine ekleme başarısını etkileyecek bir sorun tespit etti. Daha ayrıntılı ifadeyle, Googlebot, robots.txt dosyanızdaki kısıtlamalardan dolayı JavaScript ve/veya CSS dosyalarınıza erişemiyor. Bu dosyalar, Google'ın, web sitenizin düzgün şekilde çalıştığını bilmesine yardımcı olduğundan, bu öğelere erişimin engellenmesi, sıralamanın gerektiği gibi olmamasına yol açacaktır.
Bu e-postayı aldığınızda ne hissettiniz? “Sıralamanın gerektiği gibi olmamasına yol açacaktır” ifadesi sizi de telaşlandırdı mı? Telaşlanmayın, bu konuda yapılacak birkaç şey var.
Stackoverflow‘da sorulan bir soruya yanıt veren Google Webmaster Trends Analisti Gary Illyes, Googlebot’un sitedeki Js ve CSS dosyalarına erişimiyle ilgili birkaç ipucu da veriyor.
Wanna know the simplest robots.txt rule to allow crawling your JavaScript and CSS files? https://t.co/kD0GWTXM8N
— Gary Illyes (@methode) 29 Temmuz 2015
Buna göre, sitenizdeki robots.txt dosyasına ekleyeceğiniz basit birkaç komut ile, Googlebot’un erişimini sağlamanız mümkün:
User-Agent: Googlebot Allow: .js Allow: .css
Bu komutlar, sitenizdeki Js ve CSS dosyalarına erişim sağlamakta. Ancak klasör bazında erişim için komutları çoğaltmanız gerekebilir. Örneğin belli bir dizindeki veriye erişim sağlamak istemiyorsunuz ancak o dizindeki Js ve CSS dosyalarına erişim vermek istiyorsunuz; o zaman dizini engelleyip dizindeki Js ve CSS dosyalarına erişimi ayrıca vermeniz gerekir. Eğer aşağıdaki kodu kullanırsanız dizine erişimi tümden engellersiniz;
User-Agent: Googlebot Disallow: /dizin/ Allow: .js Allow: .css
Söz konusu dizine erişimi kapatıp bu dizinde bulunan Js ve CSS dosyalarına erişim sağlamak için aşağıdaki kodu kullanmanız gerekir:
User-Agent: Googlebot Disallow: /dizin/ Allow: /dizin/*.js Allow: /dizin/*.css
Böylece Googlebot seçtiğiniz dizindeki içeriği taramayacak ancak dizin içindeki Js ve CSS dosyalarını tarayabilecektir. Böylece Google Search Console’dan aldığınız uyarı mesajındaki sorunu gidermiş olursunuz.
Googlebot Bu Dosyaları Neden Taramak İstiyor?
Bir diğer Google Webmaster Trends Analisti John Mueller’in kısaca bahsettiği kadarıyla bu soruya şöyle bir cevap verebiliriz: Googlebot sitenizdeki tüm kaynaklara erişerek sitenizi tam olarak taramak istiyor ve sitenin neye benzediğini, ortalama bir kullanıcının gördüğü gibi görmek ve içeriğini anlamak için bu kaynakları dizine eklemek istiyor. Ayrıca sitenizin Mobil Uyumlu olup olmadığı, sitenizdeki Js ve CSS kaynaklarının doğru çalışıp çalışmadığı, bu dosyaların site hızını nasıl etkilediği gibi detayları da anlamak için, Js, CSS ve görsellere tam erişim vermeniz gerekiyor.
Ek olarak John Mueller sitenize yerleştirilmiş (embed) Js ve CSS öğeleri (yerleştirilmiş video ve ses dosyaları, sosyal paylaşımlar vb.) hakkında ileti almamanız gerektiğinden bahsetmekte. Yerleştirme kodlarının kullanıldığı sayfaları Google Search Console’da göreceksiniz ancak bu konuda herhangi bir uyarı e-postası almayacaksınız. Bu durumda, sitenize yerleştirdiğiniz herhangi bir kodun yarattığı problemi, sitenizin içerisinde çözmekten siz sorumlusunuz.
Konuyla ilgili Google WebMasters Yardım Merkezindeki makaleye göz atabilirsiniz:
Engellenen JavaScript, CSS ve resim dosyaları
Ve son olarak, Google Search Console hakkında yerleştirilmiş bir video ile bu yazımızı sonlandıralım:
