Γεννήτρια αρχείου robots.txt

Δημιουργήστε ένα αρχείο robots.txt με κανόνες συρσίματος και έναν προαιρετικό χάρτη τοποθεσίας URL.

Κείμενο Χωρίς αποθήκευση δεδομένων

Οι οδηγίες για τα crawler δεν ελέγχουν την πρόσβαση σε ιδιωτικές σελίδες.

Σύντομος οδηγός

Δοκιμάστε ένα παράδειγμα

Εισαγάγετε

Όνομα καραβίδας
*
Αποδεσμευμένοι δρόμοι
/drafts/
Χάρτης τοποθεσίας URL
https://example.com/sitemap.xml

Θα λάβετε

User-agent: *
Disallow: /drafts/

Sitemap: https://example.com/sitemap.xml
Πώς λειτουργεί και τα όρια

Εισάγετε μία διαδρομή ανά γραμμή ξεκινώντας με /. Αφήστε τις διαδρομές κενές για να επιτρέψετε όλες τις διαδρομές για το επιλεγμένο συρόμενο.