robots.txt-generaattori

Luo robots.txt-tiedosto, jossa on ryömintäsäännöt ja valinnainen sitemap URL.

Teksti Tietoja ei tallenneta

Ryömijädirektiiveissä ei valvota yksityissivujen käyttöä.

Pikaopas

Kokeile esimerkkiä

Syötät

Ryömijän nimi
*
Estetyt polut
/drafts/
Sitemap URL
https://example.com/sitemap.xml

Saat

User-agent: *
Disallow: /drafts/

Sitemap: https://example.com/sitemap.xml
Miten se toimii ja rajat

Anna yksi polku riviä kohti alkaen /. Jätä polut tyhjiksi, jotta kaikki polut valitulle ryömijälle sallitaan.