Generator robots.txt

Buat file robots.txt dengan aturan crawler dan URL sitemap pilihan.

Teks Tanpa penyimpanan data

Petunjuk untuk perayap tidak membatasi akses ke halaman pribadi.

Panduan singkat

Coba contoh

Masukan

Nama Crawler
*
Langkah-langkah yang dihapus
/drafts/
Lokasi URL
https://example.com/sitemap.xml

Hasil

User-agent: *
Disallow: /drafts/

Sitemap: https://example.com/sitemap.xml
Cara kerja dan batasan

Masukkan satu jalur per baris yang dimulai dengan /. Tinggalkan jalur kosong untuk memungkinkan semua jalur untuk crawler yang dipilih.