Teknobench
Kategoriji ▾
Lingwa: mt ▾

Generatur tar-robots.txt

Oħloq fajl robots.txt validu b’gruppi ta’ user-agent, regoli Allow u Disallow, sitemaps u crawl-delay, b’kontrolli għall-iżbalji komuni.

Ibda minn

Kontrolli

Kif tuża l-generatur tar-robots.txt

  1. Taħt Ibda minn, agħżel preset: Ippermetti kollox, Imblokka kollox, Imblokka l-crawlers tal-AI jew WordPress. Imbagħad tista’ tbiddel kull linja.
  2. F’kull grupp, elenka l-User agents li għalihom japplikaw ir-regoli, wieħed f’linja. * ifisser kull crawler li m’għandux grupp tiegħu.
  3. Żid regoli Allow u Disallow b’Żid regola. Il-mogħdijiet jibdew b’/ u jiddistingwu bejn ittri kbar u żgħar.
  4. Jekk trid, issettja Crawl-delay f’sekondi (mhux obbligatorju) għal crawlers li jappoġġjawh, u żid aktar gruppi b’Żid grupp ta’ user-agent.
  5. Elenka l-URLs tas-sitemap, URL assolut wieħed f’linja.
  6. Irrevedi l-Kontrolli, imbagħad Niżżel il-fajl (diġà jismu robots.txt) jew Ikkopja u tella’ fl-għerq tas-sit tiegħek, pereżempju https://example.com/robots.txt.

L-għodda taħdem kollha fil-brawżer tiegħek. Xejn minn dak li tikteb ma jintbagħat lil server.

Kif jaħdem robots.txt

Fajl robots.txt jgħid lill-crawlers liema partijiet ta’ sit jistgħu jġibu. Isegwi l-Robots Exclusion Protocol, standardizzat bħala RFC 9309 fl-2022. Il-fajl japplika biss għall-host u l-protokoll eżatti fejn jiġi servut: https://shop.example.com/robots.txt ma jkoprix https://example.com.

Kull grupp jibda b’linja User-agent waħda jew aktar segwita minn regoli. Crawler juża l-grupp li l-user agent tiegħu jaqbel l-aktar speċifikament ma’ ismu, u jinjora l-oħrajn; jekk xejn ma jaqbel, jaqa’ lura fuq il-grupp *. Ġewwa l-grupp, Google japplika r-regola bil-mogħdija l-itwal li taqbel, u meta regola Allow u waħda Disallow ikunu twal l-istess, Allow tirbaħ. Huwa għalhekk li Disallow: /wp-admin/ flimkien ma’ Allow: /wp-admin/admin-ajax.php jaħdem.

Żewġ wildcards huma appoġġjati mis-search engines ewlenin: * jaqbel ma’ kwalunkwe sekwenza ta’ karattri, u $ fl-aħħar ta’ mogħdija jfisser “l-URL jispiċċa hawn”. Pereżempju, Disallow: /*.pdf$ jimblokka kull URL li jispiċċa b’.pdf. Disallow: vojt ifisser li xejn mhu mblokkat, li hija l-forma li biha din l-għodda tikteb grupp mingħajr regoli.

Il-kontrolli li jsiru

  • Grupp mingħajr user agent, li l-crawlers jinjoraw.
  • Mogħdijiet li ma jibdewx b’/, fihom spazji jew karattri b’aċċent (dawn iridu jkunu kkodifikati b’percent) jew jużaw $ fin-nofs.
  • L-istess mogħdija kemm permessa kif ukoll miċħuda fi grupp wieħed.
  • User agent li jidher f’diversi gruppi: Google jgħaqqadhom, imma crawlers oħra jistgħu jaqraw biss l-ewwel wieħed.
  • URLs tas-sitemap relattivi jew invalidi, u fajl akbar minn 500 KiB, il-limitu li Google jieqaf jaqra wara.
  • Crawl-delay immirat lejn Google, li jinjorah. Bing u xi crawlers oħra jirrispettawh; għal Google, ir-rata tal-crawl tiġi aġġustata awtomatikament skont kemm is-server tiegħek iwieġeb malajr.

Dwar il-crawlers tal-AI

Il-preset Imblokka l-crawlers tal-AI iżomm is-search engines normali permessi u jżid grupp li jagħmel disallow lis-sit kollu għal GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider u meta-externalagent. Google-Extended u Applebot-Extended mhumiex crawlers separati: huma tokens li jgħidu lil Google u lil Apple ma jużawx il-kontenut tiegħek biex iħarrġu jew jibbażaw il-mudelli tal-AI tagħhom, mingħajr ma jaffettwaw l-indiċjar normali tal-fittxija. Crawlers ġodda tal-AI jidhru regolarment, għalhekk irrevedi l-lista minn żmien għal żmien.

Mistoqsijiet frekwenti

Disallow ineħħi paġna minn Google?

Le. Disallow iwaqqaf il-crawling, mhux l-indiċjar. URL imblokkat jista’ xorta jidher fir-riżultati, mingħajr deskrizzjoni, jekk siti oħra jagħmlu link lejh. Biex iżżomm paġna barra mir-riżultati tal-fittxija, ħalliha tiġi mfittxija mill-crawlers u żid tag meta robots noindex minflok.

robots.txt huwa miżura ta’ sigurtà?

Le. Huwa fajl pubbliku li crawlers edukati jsegwu volontarjament. Kulħadd jista’ jaqrah, u l-bots malizzjużi jinjorawh. Ipproteġi ż-żoni privati b’login, mhux b’robots.txt.

Fejn għandu jitqiegħed il-fajl?

Fl-għerq tal-host, jismu eżatt robots.txt b’ittri żgħar: https://example.com/robots.txt. Fajl f’subfolder jiġi injorat.

Għaliex Google jinjora Crawl-delay?

Google jaġġusta r-rata tal-crawl tiegħu awtomatikament skont kemm is-server tiegħek iwieġeb malajr u b’mod affidabbli. Jekk Googlebot jgħabbi s-server tiegħek iżżejjed, il-kodiċi ta’ status 503 jew 429 iżommu ftit.

Kemm iddum biex jidħlu fis-seħħ il-bidliet?

Google ġeneralment iżomm robots.txt maħżun sa 24 siegħa, għalhekk bidla tista’ tieħu ġurnata biex titqies. Tista’ tiċċekkja l-verżjoni miġjuba fir-rapport robots.txt ta’ Search Console.

Għodod relatati