BLOGveida draza tehniskajā pierakstā

Robot Exclusion Standard

Robot Exclusion Standard (6 komentāri)

Kirils 2004-09-09 22:41:08 Internets
Šodien saņēmu atbildi uz manu kritiku par to, ka Delfu roboti nepakļaujas manam robots.txt, kas, lai gan ir diezgan specifisks, tomēr atbilst standartam.

Taču gudri cilvēki izvēlas drošāku veidu kā novērst robotu ložņāšanu pa savu lapu. Vienkārši noindeksējam visas lapas iekš robots.txt un darbiņš padarīts.
Paveras diezgan plašs lauks mājaslapas "dziļākai izpētei".
>;)

Komentāri


001. Didulis 2004-09-10 01:09:06
Interesanta fignja. Laikam kaut kur bija maniita agraak, tachu bija piemirsusies. Juutu liidzi tev ar delfu sliktajiem mekleeshanas robotiem.
Btw mani moca zinjkaare, ko vinji tev ir atbildeejushi shai sakaraa. ;-))

002. Kirils [ esmu te ] 2004-09-10 01:12:30
vinji ir ar mieru sadarboties, jo "veelas uzlabot sava crawlera darbiibu".
luudza nosuutiit vinjiem apaches logu un robots.txt.

003. delfins 2004-09-10 13:16:01
hhh :)

004. Removed: 220.208.76.106 2006-06-24 17:36:57

005. Removed: 72.66.29.168 2006-06-24 17:37:21

006. Removed: 194.165.130.93 2006-06-24 17:38:19

ŠEIT ATKRITUMUS IZMEST AIZLIEGTS
Apnicis katru reizi no jauna aizpildīt pirmos 3 laukus? Spied!



Netiks publicēts, kamēr netiks ieviesta antispama sistēma.

Ja raksti mājaslapas adresi, neaizmirsti http://.



Neaizmirsti, ka jebkāda offtopika vieta ir tur, nevis šeit!

Skaitītājs

Unikālie hosti
Šodien:92
Vakar:205
Ra:291

Cita draza

1. SIA
Atmest smēķēšanu Jums var palīdzēt Jūsu ģimenes ārsts un farmaceits