Stručný návod
Vyzkoušejte příklad
Zadejte
- Crawler name
*
- Nepovolené cesty
/drafts/
- Sitemap URL
https://example.com/sitemap.xml
Dostanete
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Jak funguje a omezuje se
Zadejte jednu cestu na řádku začínající /. Nechte cesty prázdné, aby všechny cesty pro vybraný crawler.