Snabbguide
Prova ett exempel
Du matar in
- Crawler namn
*
- Disallowed paths
/drafts/
- Sitemap URL
https://example.com/sitemap.xml
Du får
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Så fungerar det och vilka gränser som gäller
Ange en väg per rad som börjar med /. Lämna vägarna tomma för att tillåta alla vägar för den valda krypskytten.