Gineadóir Robots.txt

Conas an gineadóir robots.txt a úsáid

1. Faoi Tosaigh ó, roghnaigh réamhshocrú: Ceadaigh gach rud, Blocáil gach rud, Blocáil crawlálaithe AI nó WordPress. Ansin is féidir leat gach líne a athrú.
2. I ngach grúpa, liostaigh na User agents a bhaineann na rialacha leo, ceann in aghaidh na líne. Ciallaíonn * gach crawlálaí gan grúpa dá chuid féin.
3. Cuir rialacha Allow agus Disallow leis le Cuir riail leis. Tosaíonn conairí le / agus tá siad cás-íogair.
4. Más mian leat, socraigh Crawl-delay i soicindí (roghnach) do chrawlálaithe a thacaíonn leis, agus cuir tuilleadh grúpaí leis le Cuir grúpa user-agent leis.
5. Liostaigh do URLanna mapa suímh (ceann in aghaidh na líne), URL absalóideach amháin in aghaidh na líne.
6. Athbhreithnigh na Seiceálacha, ansin Íoslódáil an comhad (tá sé ainmnithe robots.txt cheana) nó Cóipeáil é, agus uaslódáil go fréamh do shuímh é, mar shampla https://example.com/robots.txt.

Conas a oibríonn robots.txt

Insíonn comhad robots.txt do chrawlálaithe cé na codanna de shuíomh a fhéadfaidh siad a fháil. Leanann sé an Robots Exclusion Protocol, caighdeánaithe mar RFC 9309 in 2022. Ní bhaineann an comhad ach leis an óstach agus an prótacal beacht ina seirbhísítear é: ní chlúdaíonn https://shop.example.com/robots.txt https://example.com.

Tosaíonn gach grúpa le líne User-agent amháin nó níos mó agus rialacha ina dhiaidh. Úsáideann crawlálaí an grúpa a mheaitseálann a ainm is sainiúla, agus déanann sé neamhaird de na cinn eile; mura meaitseálann aon rud, titeann sé siar ar an ngrúpa *. Laistigh den ghrúpa, cuireann Google an riail leis an gconair mheaitseála is faide i bhfeidhm, agus nuair a bhíonn riail Allow agus riail Disallow chomh fada le chéile, buann Allow. Sin an fáth a n-oibríonn Disallow: /wp-admin/ in éineacht le Allow: /wp-admin/admin-ajax.php.

Tacaíonn na príomhinnill chuardaigh le dhá shaoróg: meaitseálann * aon seicheamh carachtar, agus ciallaíonn $ ag deireadh conaire “críochnaíonn an URL anseo”. Mar shampla, blocálann Disallow: /*.pdf$ gach URL a chríochnaíonn le .pdf. Ciallaíonn Disallow: folamh nach bhfuil aon rud blocáilte, agus is amhlaidh a scríobhann an uirlis seo grúpa gan rialacha.

Seiceálacha a dhéantar

• Grúpa gan user agent, a dhéanfadh crawlálaithe neamhaird de.
• Conairí nach dtosaíonn le /, ina bhfuil spásanna nó carachtair le sioncope (ní mór iad a ionchódú le céatadán) nó a úsáideann $ sa lár.
• An chonair chéanna ceadaithe agus diúltaithe in aon ghrúpa amháin.
• User agent atá i roinnt grúpaí: cumasc Google iad, ach d’fhéadfadh crawlálaithe eile an chéad cheann amháin a léamh.
• URLanna mapa suímh coibhneasta nó neamhbhailí, agus comhad níos mó ná 500 KiB, an teorainn a stopann Google ag léamh ina dhiaidh.
• Crawl-delay dírithe ar Google, a dhéanann neamhaird de. Tugann Bing agus roinnt crawlálaithe eile aird air; do Google, coigeartaíonn an ráta crawlála go huathoibríoch de réir luas freagartha do fhreastalaí.

Maidir le crawlálaithe AI

Coinníonn an réamhshocrú Blocáil crawlálaithe AI gnáthinnill chuardaigh ceadaithe agus cuireann sé grúpa leis a dhiúltaíonn don suíomh iomlán do GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider agus meta-externalagent. Ní crawlálaithe ar leith iad Google-Extended agus Applebot-Extended: is comharthaí iad a insíonn do Google agus d’Apple gan d’ábhar a úsáid chun a samhlacha AI a oiliúint nó a bhunú, gan difear a dhéanamh d’innéacsú gnáthchuardaigh. Tagann crawlálaithe AI nua chun solais go rialta, mar sin athbhreithnigh an liosta ó am go ham.