Korte handleiding
Probeer een voorbeeld
Je voert in
- Crawler
*
- Afgewezen paden
/drafts/
- Sitemap-URL
https://example.com/sitemap.xml
Je krijgt
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Werking en limieten
Voer één pad in per regel die begint met /. Laat de paden leeg om alle paden voor de geselecteerde rups te laten.