Ghid rapid
Încearcă un exemplu
Introdu
- Numele șenilei
*
- Trasee respinse
/drafts/
- Adresa URL a hărții site-ului
https://example.com/sitemap.xml
Obții
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Cum funcţionează şi limite
Introduceți o cale pe linie începând cu /. Lăsați căile goale pentru a permite toate căile pentru crawler selectat.