Guia ràpida
Prova un exemple
Introdueix
- Nom del rastrejador
*
- Camins no permesos
/drafts/
- URL del mapa del lloc
https://example.com/sitemap.xml
Obtens
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Funcionament i límits
Introdueix un camí que comenci per / a cada línia. Deixa el camp buit per permetre tots els camins.