Ero sivun ”Robots.txt” versioiden välillä
| [katsottu versio] | [katsottu versio] |
Poistettu sisältö Lisätty sisältö
Ei muokkausyhteenvetoa |
rm link spam |
||
Rivi 1:
'''Robotin rajausstandardi''' (<code>robots.txt</code>) on [[WWW-palvelin|WWW-palvelimen]] juurihakemistoon sijoitettava [[tiedosto]], jolla voidaan antaa tietoja ja rajoituksia [[hakurobotti|hakuroboteille]] ja muille [[verkkosivu]]ja tutkiville [[botti|boteille]]. Sillä voidaan esimerkiksi kieltää kaikkia robotteja tai vain yksittäisiä [[hakukone]]ita tutkimasta joitakin verkkosivuston kansioita tai tiedostoja.
robots.txt-standardi sai alkunsa sähköpostilistalla www-talk käydyistä keskusteluista vuonna 1994, eikä sitä valvo tai kehitä mikään virallinen elin. Alkuperäiseen standardiin kuuluu vain kaksi ilmaustyyppiä: <tt>Disallow</tt> kertoo mitä botilta kielletään ja <tt>User-agent</tt> mitä bottia kielto koskee. Sittemmin suosituimmat hakukoneet ovat alkaneet huomioida uusia komentoja, joita kaikki botit eivät kuitenkaan tunnista.
| |||