Kort vejledning
Prøv et eksempel
Du indtaster
- Crawler-navn
*
- Uønskede stier
/drafts/
- Sitemap URL
https://example.com/sitemap.xml
Du får
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Hvordan det virker og grænser
Indtast en sti pr. linje der begynder med /. Lad stierne være tomme for at tillade alle stier for den valgte krabbemaskine.