Robots.txt -generaattori
Luo verkkosivustosi robots.txt-tiedosto visuaalisesti. Hallitse hakukonerobotteja, estä tekoälybottien datankeruu ja lataa valmis tiedosto.
Pika-asetukset
Yleinen sääntö (User-agent: *)
Estä botit
Estetyt botit saavat oman User-agent-säännön Disallow: / -direktiiviksi.
Suositeltu — auttaa hakukoneita löytämään kaikki sivusi.
robots.txt
User-agent: * Disallow:
1
Sääntöjä
0
Estettyjä polkuja
0
Estettyjä botteja
Sijainti palvelimella
Tiedosto tulee olla osoitteessa /robots.txt — ei kansioissa.
Robots.txt ei salasana
Se on julkinen tiedosto. Arkaluonteista dataa ei pidä suojata vain sillä.
Tekoälybotit ja laki
Useimmat tekoälybotit kunnioittavat robots.txt-direktiivejä, mutta eivät kaikki.
Haluatko teknisen SEO:n ammattilaisen käsiin?
DragDrop hoitaa robots.txt:n, sivukartat ja koko teknisen SEO-perustan. Kysy ilmainen katselmus.