Root.txt Yapımı Nasıl olur_?

ISPGuard

Paylaşım Bizim İşimiz
Yönetici
112

Robots.txt Yapımı _?
Robots.txt dosyaları ile alakalı bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde tespit edilen bir dosyadır. Dosya, ufak bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır.

Robots.txt sitenin ana dizininde tespit edilen ismi değişmeyen, Google Botları amacıyla dargın bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya amacıylade birtakım kodlar görecektir ve bu kodlar tarafında nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır. Sonuç olarak Robots.txt Google botları amacıyla olmazsa olmazlardandır. Şimdi biz de Robots.txt yapımını beraberce öğrenelim.

Yeni bir metin belgesi açalım adını Robots.txt yapalım. Robots.txt dosyamız amacıylade iki değişik değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu'nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Örnek 1:
User-agent: *
Allow: /

Kodlarımızı yorumlayalım. 1. satırdaki kodumuz da bakınız Google Botları'nın isimleri gelecekti ancak "*" işaretini gördünüz. Bunun manası, siteniz bütün Google Botları'nca istisnasız indexlenmesine izin vermişsiniz demektir.



Örnek 2:
User-agent: *
Disallow: /

Gördüğünüz gibi birinci satırdaki user-agent kodumuzun manası bütün Google Botları'na sitenizi indexlemesi amacıyla izin verilmesiydi. Ancak ikinci satırda "/" bu tür bir karakter görüyorsunuz. Bu karakterin manası site üstünde bütün dosyaların taranmaması isteniyor.

Yani bu Robots.txt kod bütününden de anlayacağımız şey, bütün Google Botları'nca sitemizin hiçbir dosyası indexlenmeyecek, taranmayacak.

Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Bütün Google botları, bu 4 dosyayı indexlemeyecektir.

Örnek 3:
User-agent: DeepCrawl
Disallow: /private/

DeepCrawl, bir Google botudur. Görevi ise; sitenizi uzun Aralıklarla ziyaret edip, indexlenmesi amacıyla lüzumlu verileri toplar. Bu kodların manası ise, ismi verdiği botun alakalı private klasörünü indexlememeli.

Örnek 4:
User-agent: *
Disallow: /directory/dosya.html

Tüm botlar, alakalı dosyayı indexlemeyecektir. Ama directory dizinindeki dosya.html hariç başka bütün dosyaları tarar ve indexler.

Örnek 5:
User-agent: *
Allow: /dosya1/site.html
Disallow: /dosya1/

Bu kodların manası ise, bütün Google Botları dosya dizininde tespit edilen site.html dosyası hariç başka bütün dosyaları taramaz ve indexlemeyecektir.

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /