Robots.txt Generator at Validator

Gumawa ng mga panuntunan para sa crawler, magdagdag ng mga direktiba sa sitemap, at suriin ang syntax ng robots.txt nang lokal bago i-publish ang file sa ugat ng iyong website.

Handa na

Mga resulta ng validation

  • Gumawa o mag-paste ng nilalaman para sa robots.txt, pagkatapos ay suriin ito.

Pagbuo ng panuntunan ng crawler

Gumawa ng mga direktibang User-agent, Allow, Disallow, Sitemap, at opsyonal na Host nang hindi kailangang isaulo ang format ng robots.txt.

Pagpapatunay ng syntax

Suriin ang mga karaniwang pagkakamali tulad ng nawawalang user-agents, relative sitemap URLs, malformed paths, duplicate rules, at unsupported directive names.

Pribadong lokal na pagproseso

Tumatakbo ang generator at validator sa iyong browser. Hindi ina-upload sa mga server ng Convertr ang nilalaman ng Robots.txt.

Mga Madalas Itanong

Naka-upload ba ang robots.txt file ko para sa pagsusuri?

Hindi. Tumatakbo sa iyong browser gamit ang JavaScript ang paggawa at pag-validate. Hindi ipinapadala sa mga server ng Convertr ang text na inilalagay mo.

Saan ko dapat ilagay ang robots.txt?

Ilagay ang robots.txt sa root ng host na pinapatungan nito, tulad ng https://example.com/robots.txt.

Tinatanggal ba ng robots.txt ang pages mula sa Google?

Hindi. Kinokontrol ng Robots.txt ang pag-access ng crawler. Gumamit ng noindex directive sa page o alisin ang page kung kailangan mong alisin ito sa index.

Mga kaugnay na tool para sa developer

Generator ng XML Sitemap Bumuo ng wastong sitemap.xml file mula sa listahan ng mga URL. Checker ng HTTP Headers Suriin ang mga redirect, status code at response header. Formatter ng XML I-format at patunayan ang mga XML file at snippet ng sitemap. URL Encoder at Decoder I-encode ang mga URL, query string, at bahagi ng URL. Generator ng URL Slug Gumawa ng madaling basahing mga URL path para sa mga pahina at post. Buksan ang Open Graph Checker I-preview kung paano lumalabas ang mga page at sitemap sa mga social media platform. Generator ng Cron Expression Gumawa at suriin ang mga naka-iskedyul na gawain ng crawler o maintenance.

Generator ng Robots.txt

Gumawa at i-validate ang mga pangunahing grupo sa robots.txt, panuntunang Allow at Disallow, pagkaantala sa pag-crawl, at mga sitemap reference.

ang input
User-agent groups, path rules, at sitemap URLs.
Mga output
Maiikling teksto ng robots.txt na may mga diagnostic ng istraktura.
Mga tunay na limitasyon
Payo lamang ang robots.txt, nagkakaiba ang suporta ng crawler, case-sensitive ang mga tuntunin para sa mga prefix ng path, at hindi nito kayang mag-isa na alisin ang naka-index nang URL.
Privacy at paghawak ng data
Ang user-agent groups, path rules, at sitemap URLs ay pinoproseso sa browser tab na ito. Hindi ito natatanggap o iniimbak ng Convertr; ang pagsara o pag-reload ng page ay nag-aalis ng working state maliban kung ang tool ay tahasang nag-aalok ng local download.

Paano gamitin ang tool na ito

  1. Ilagay ang mga pangkat ng user-agent, panuntunan sa path, at sitemap URLs sa mga kontrol ng tool.
  2. Piliin ang mga setting na nakaaapekto sa makokopyang robots.txt text na may mga pagsusuring pang-istruktura, pagkatapos ay patakbuhin ang tool.
  3. Suriin ang tekstong robots.txt na maaaring kopyahin, kasama ang pagsusuri sa estruktura, bago ito kopyahin o i-download.

Mga karaniwang sanhi ng pagkabigo

Nagpapakita ng mga babala ang mga invalid na sitemap URLs, magkakasalungat na blangkong grupo, hindi sinusuportahang directive, o nawawalang user agent.

Kapaki-pakinabang na halimbawa

Gumawa ng pangkat ng user-agent na * na nagbabawal sa /admin/ at nagtatakda ng URL ng production sitemap.