Коротка інструкція
Спробуйте приклад
Введіть
- Ім'я сканера
*
- Недопустимі шляхи
/drafts/
- Карта сайту URL
https://example.com/sitemap.xml
Отримаєте
User-agent: * Disallow: /drafts/ Sitemap: https://example.com/sitemap.xml
Як це працює і межі
Введіть один шлях на рядок, починаючи з /. Залиште доріжки порожніми, щоб дозволити всі шляхи для вибраного повзунки.