เครื่องมือสร้างและตรวจสอบ Robots.txt

เครื่องมือสร้าง Robots.txt

สร้างและตรวจสอบกลุ่ม robots.txt พื้นฐาน กฎ Allow และ Disallow หน่วงเวลาการรวบรวมข้อมูล และการอ้างอิง sitemap

อินพุต

กลุ่ม user-agent กฎเส้นทาง และ URL ของ sitemap.

ผลลัพธ์

ข้อความ robots.txt ที่คัดลอกได้พร้อมการวินิจฉัยโครงสร้าง.

ข้อจำกัดจริง

robots.txt เป็นเพียงคำแนะนำ การรองรับครอว์เลอร์แตกต่างกันไป กฎเป็นคำนำหน้าเส้นทางที่คำนึงถึงตัวพิมพ์เล็กใหญ่ และไม่สามารถลบ URL ที่จัดทำดัชนีแล้วได้ด้วยตัวเอง

ความเป็นส่วนตัวและการจัดการข้อมูล

กลุ่ม user-agent กฎเส้นทาง และ URL ของ sitemap ถูกประมวลผลในแท็บเบราว์เซอร์นี้ Convertr ไม่ได้รับหรือจัดเก็บข้อมูล การปิดหรือโหลดหน้าใหม่จะล้างสถานะการทำงาน เว้นแต่เครื่องมือจะเสนอให้ดาวน์โหลดในเครื่องอย่างชัดเจน