Γεννήτρια robots.txt
Δημιουργήστε ένα robots.txt με πολλαπλά μπλοκ user-agent, κανόνες Allow/Disallow, προαιρετικό Crawl-delay, Host και γραμμές Sitemap. Η προεπισκόπηση ενημερώνεται ζωντανά καθώς πληκτρολογείτε.
Μπλοκ User-agent
Γενικά
Σημειώσεις: Το
Host λαμβάνεται υπόψη από ορισμένους ανιχνευτές (π.χ. Yandex). Το Crawl-delay δεν χρησιμοποιείται από την Google αλλά μπορεί να χρησιμοποιείται από άλλους. Τα wildcard * και $ υποστηρίζονται ευρέως (δεν ανήκουν στο βασικό RFC).
Προεπισκόπηση (robots.txt)
Δοκιμαστής URL
Υπενθύμιση: το
robots.txt είναι δημόσια προσβάσιμο και αποτελεί σύσταση για καλοπροαίρετους ανιχνευτές· δεν είναι μηχανισμός ελέγχου πρόσβασης.
Asted Cloud
Σχόλια (0)
Μοιραστείτε τη γνώμη σας — παρακαλώ να είστε ευγενικοί και εντός θέματος.
Συνδεθείτε για να σχολιάσετε