Krótka instrukcja
Wypróbuj przykład
Wprowadź
- Nazwa Crawler
*
- Niedozwolone ścieżki
/drafts/
- Adres URL mapy witryny
https://example.com/sitemap.xml
Otrzymasz
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Jak to działa i ogranicza
Wprowadź jedną ścieżkę na linię zaczynającą się od /. Pozostawić ścieżki puste, aby umożliwić wszystkie ścieżki dla wybranego pełzacza.