Generatore di robots.txt

Crea un file robots.txt con regole per i crawler e un URL della sitemap facoltativo.

Testo Senza conservazione

Le direttive per i crawler non limitano l’accesso alle pagine private.

Guida rapida

Un esempio da provare

Inserisci

Nome del crawler
*
Percorsi non consentiti
/drafts/
URL della sitemap
https://example.com/sitemap.xml

Ottieni

User-agent: *
Disallow: /drafts/

Sitemap: https://example.com/sitemap.xml
Come funziona e limiti

Inserisci un percorso per riga, iniziando con /. Lascia il campo vuoto per consentire tutti i percorsi.