Web sayfalarinin robot tarafindan gezilebilme kurallari
1
:
web adresi ".tr" icerir.
2
:
sayfanin html "meta" taglari turkce oldugunu ifade eder: "8859-9", "windows-1254" veya language tag "tr"
3
:
sayet ilk iki kural websayfasi icin "turkce degil" sonucuna varir ise web sayfasinin icerigi dilbul programina gonderilir ve dilbul programi sayfanin turkce olup olmadigina karar verir.
Onemli not : sayet bir web sayfasinin turkce olmadigi kararina varilir ise robot o sayfayi indexlemeyecek dolayisi ile o sayfadaki linkleri gezmeyecektir.
Gezilemeyen Sayfalar
1
:
frame iceren sayfalar
2
:
yalnizca flash iceren sayfalar
3
:
javascript pop up sayfalari
