robots.txt generátor

Hozzon létre egy robots.txt fájlt a crawler szabályokkal és egy opcionális sitemap URL.

Szöveg Adatok tárolása nélkül

A crawler irányelvek nem ellenőrzik a magánoldalakhoz való hozzáférést.

Rövid útmutató

Próbálj ki egy példát

Ezt adod meg

Horgonyzó neve
*
Megengedett utak
/drafts/
Helysor URL
https://example.com/sitemap.xml

Ezt kapod

User-agent: *
Disallow: /drafts/

Sitemap: https://example.com/sitemap.xml
Hogyan működik és korlátok

Egy útvonalat kell megadni soronként, az / -vel kezdve. Hagyja üresen az utakat, hogy lehetővé tegye az összes utat a kiválasztott mászó számára.