Kio estas robots.txt?
Serĉvidebleco, indeksado kaj strukturitaj datumoj
Dosiero robots.txt estas simpla tekstodosiero ĉe la radiko de retejo, kiu informas konformajn retpuŝilojn pri kiuj URL-vojoj ili rajtas peti. Ĝi regas puŝadon, ne privatecon, sekurecon nek forigon. Bloki vojon ne forigas paĝon nek garantias, ke ĝi restos ekster serĉrezultoj, ĉar blokita URL ankoraŭ povas aperi en listoj, se aliaj paĝoj ligas al ĝi. La reguloj estis normigitaj kiel RFC 9309 en septembro 2022. Por vere privata enhavo, uzu aŭtentikigon aŭ forigon, ne robots.txt.
Reviziita de Jackie, Head of Learning & Development, Levellers - Laste reviziita la 8-an de junio 2026
Kion tio signifas
Imagu robots.txt kiel avizpanon ĉe la akceptejo, kiu petas vizitantajn robotojn eviti certajn koridorojn. Ĝi estas peto, ne ŝlosita pordo. Bonkondutaj retpuŝiloj de la ĉefaj serĉmasĝinoj legas la dosieron antaŭ ol peti ion ajn alian, kaj respektas ĝian enhavon. Retpuŝiloj, kiuj elektas misbehavi, povas tute ignori ĝin.
La dosiero loĝas en unu fiksita loko, la radiko de ĉiu gastiganto, ekzemple https://www.example.com/robots.txt. Ĝi regas petojn, ne posedon. Ĝi povas peti retpuŝilon ne alpreni paĝon, sed ĝi ne povas malhelpi, ke paĝo estu konata, kaj ĝi ne povas forigi paĝon jam indeksitan. Se alia retejo ligas al blokita URL, tiu URL ankoraŭ povas aperi en rezultoj, kutime sen priskribo, ĉar la retpuŝilo neniam rajtis legi la enhavon.
Kial tio gravas
Por la plej multaj malgrandaj retejoj, robots.txt estas io, kion oni agordu unufoje kaj malofte tuŝu. Ĝi fariĝas grava kiam retejo kreskas, ĉar enhavadministraj sistemoj generas grandajn nombrojn da preskaŭ-duplikataj kaj utilecaj URL-oj, kiel filtritaj kategoriaj vidoj, internaj serĉrezultoj kaj printebla versioj. Se oni ne administras ilin, tiuj povas absorbi la tempon de retpuŝilo sur paĝoj sen valoro.
La pli grava komerca punkto estas, ke robots.txt estas ofte miskomprenataj, kaj tiuj miskomprenojn kaŭzas realan damaĝon. Teamoj uzas ĝin por provi kaŝi provejajn retejojn, forigi paĝojn el rezultoj, aŭ teni enhavon privata, kaj neniu el tiuj aferoj funkcias fidinde. Unu senzorga linio ankaŭ povas bloki tutan retejon de puŝado, kio povas silente forigi ĝin el serĉo. Scii, kion la dosiero faras kaj kion ĝi ne faras, evitas kaj akcidentan mem-sabotadon kaj malveran fidon.
Kiel ĝi funkcias
Normo, ne nur konvencio
La metodo de ekskludo de robotoj estis unue proponita de Martijn Koster en 1994 kaj uzata neformale dum jardekoj. Ĝi estis formale normigita kiel RFC 9309, la Robots Exclusion Protocol, publikigita de la Internet Engineering Task Force en septembro 2022. La normo difinas, kiel la dosiero estu analizita, kiel eraroj estu traktataj kaj kiel la dosiero povas esti kaŝmemorigita. Retpuŝiloj ne estu bazitaj sur kaŝmemorigita kopio pli ol 24 horojn, kaj ili devas povi analizi almenaŭ 500 kibibajtojn de la dosiero. La normo klare diras, ke la protokolo ne anstataŭas validajn enhav-sekurecajn mezurojn, kaj ke listigi vojojn en la dosiero malkaŝas ilin publike, kio igas ilin pli facile malkovreblaj.
Amplekso, uzant-agentoj kaj reguloj
La reguloj en dosiero robots.txt validas nur por la gastiganto, protokolo kaj pordo, kie la dosiero estas servata. Dosiero ĉe https://www.example.com/robots.txt ne regas subdomenon kiel shop.example.com, nek la http-version, se via kanona retejo estas https. Ene de la dosiero, vi grupigas regulojn laŭ uzant-agento, la nomo, per kiu retpuŝilo sin anoncias. Ĉiu grupo enhavas Allow- kaj Disallow-regulojn, kiuj nomas URL-vojojn. Kiam pli ol unu regulo kongruas kun URL, la plej specifa, plej longa kongrua regulo venkas.
La sitemap-linio
Vi povas inkluzivi unu aŭ pli da Sitemap-linioj, kiuj montras al la plena URL de XML-sitemap. Ĉi tio estas subtenata de la ĉefaj serĉmasĝinoj kaj estas oportuna maniero anonci, kie via sitemap loĝas, kvankam ĝi ne devigas ion ajn esti puŝata aŭ indeksita.
Kiel ĝi interagas kun aliaj kontroloj
Puŝado kaj indeksado estas apartaj paŝoj, kaj robots.txt tuŝas nur la unuan. Tio kreas konatan sekvencan kapfalon. Se vi volas, ke paĝo estu forigita el rezultoj, vi aplikas instrukcion noindex, sed la retpuŝilo devas rajti alpreni la paĝon por vidi tiun instrukcion. Se vi blokas la saman URL en robots.txt, la retpuŝilo neniam legas la paĝon, neniam vidas la noindex-on, kaj la URL povas resti en rezultoj. La ĝusta ordo estas permesi puŝadon, lasi la noindex-on esti vidita kaj la paĝon malaperi, kaj nur poste konsideri bloki la vojon, se vi volas ŝpari puŝ-penadon.
Administri AI-retpuŝilojn
Ekde 2023, la ĉefaj AI-kompanioj publikigis siajn proprajn uzant-agentajn nomojn, do vi povas decidi pri ili aparte. Google enkondukis la kontrolan ĵetonon Google-Extended en septembro 2023. Bloki Google-Extended petas Google ne uzi vian enhavon por trejni siajn generativajn modelojn, sed ĝi ne forigas vin el Google Search kaj ne malhelpas vian enhavon aperi en AI Overviews, ĉar tiuj baziĝas sur la normala serĉindekso kontrolata de Googlebot. OpenAI funkcigas GPTBot por trejnado kaj apartan agenton por sia serĉfunkcio, do bloki unu ne influas la alian. Anthropic funkcigas ClaudeBot kaj rilatajn agentojn, kaj Common Crawl funkcigas CCBot. Kiel ĉiuj robots.txt-reguloj, tiuj estas respektataj volonte. Ili estas klara signalo al respektindaj operatoroj, ne deviga mekanismo.
Ekzemploj
Vendisto kun facetita navigado malkovras, ke filtritaj kombinaĵoj kiel koloro, grandeco kaj ordigmaniero generas dekmilojn da preskaŭ-identaj URL-oj. Ili uzas Disallow-regulojn por teni retpuŝilojn for de la parametro-pezaj vojoj, por ke puŝ-penado koncentriĝu sur realaj produktaj kaj kategoriaj paĝoj.
Entrepreno lanĉas novan sekcion kaj volas, ke malnovaj, maldikaj loktenaj paĝoj malaperu el serĉo. Ili unue konfirmas, ke tiuj URL-oj ne estas blokitaj en robots.txt, aplikas noindex, atendas, ke la paĝoj malaperu, kaj poste aldonas Disallow-regulon por teni retpuŝilojn for de la vojo estonte.
Merkata teamo volas, ke ĝia blogo estu citeblaj de AI-serĉaj iloj, sed ne volas, ke la pli larĝa retejo estu uzata por modeltrejnado. Ili permesas la serĉ- kaj retrovo-agentojn, elektas eliri el trejnado per Google-Extended kaj eksplicitaj Disallow-reguloj pri trejnaj retpuŝiloj, kaj akceptas, ke fajroŝirmilo estas necesa por iu ajn retpuŝilo, kiu ignoras la dosieron.
Oftaj miskomprenojn
La plej ofta eraro estas kredi, ke robots.txt kaŝas enhavon. Ĝi ne faras tion. Blokita URL ankoraŭ povas esti listigita, se ĝi estas ligita de aliloke, montrata sen utila priskribo.
Dua estas supozi, ke Disallow signifas de-indeksadon. Ĝi ne faras tion. Bloki puŝadon fakte povas malhelpi paĝon esti forigita, ĉar la retpuŝilo ne povas vidi la noindex-instrukcion.
Tria estas pensi, ke unu dosiero regas ĉion. Ĝi regas unu solan gastiganton, protokolon kaj pordon, do subdomejnoj kaj protokolaj variantoj bezonas siajn proprajn dosierojn.
Kvara estas la ideo, ke pli da blokado estas ĉiam pli sekura. Troa blokado povas kaŝi gravajn paĝojn, rompi renderadon kiam CSS- aŭ JavaScript-dosieroj estas blokitaj, kaj fortranĉi retejon de serĉo.
Riskoj kaj limoj
La ĉefa risko estas akcidenta mem-sabotado. Erara Disallow: / povas forigi retejon el serĉo, kaj ĉar robots.txt estas malofte reviziata, la eraro povas resti nerimarkita.
La dua estas konfuzi puŝ-administradon kun alirkontrolo. Listigi vojon en robots.txt anoncas, ke la vojo ekzistas, do ĝi estas la malĝusta ilo por io ajn sentema. Normigaj instancoj, inkluzive de la US National Institute of Standards and Technology, konsilas kontraŭ fidi je sekreteco de tiu speco, ĉar sistema sekureco ne estu dependa de kaŝi la ekziston de rimedo.
La tria estas la sekvencrisko inter noindex kaj robots.txt-bloko, priskribita supre.
La kvara estas malvera fido pri AI-botoj. Respektindaj retpuŝiloj respektas la dosieron, sed ĝi ne povas devigi konformon. En aŭgusto 2025, Cloudflare raportis, ke Perplexity uzis kaŝitajn, neanoncitajn retpuŝilojn por eviti ne-puŝajn direktivojn, inkluzive de ĝenerala retumila uzant-agento, kiu impostis Google Chrome sur macOS kiam ĝia deklarita retpuŝilo estis blokita, post kio Cloudflare forigis Perplexity el sia listo de konfirmitaj botoj. Traktu robots.txt kiel ĝentilan, publikan peton kaj uzu servilflankajn kontrolojn, kie devigo gravas.
Kion fari poste
Komencu per inventaro de kiuj sekcioj de via retejo vi volas teni malfermitaj kaj kiujn vi volas teni for de puŝado, kaj estu honesta, ke teni for de puŝado ne estas la sama kiel teni privata aŭ teni for de rezultoj.
Reviziu viajn puŝ-kontrolojn kune anstataŭ izolite, ĉar robots.txt, sitemapoj, kanonikaj etikedoj kaj noindex interagas. Donu al unu nomita posedanto respondecon por la dosiero, tenu ĝin mallonga kaj komentita, kaj re-testu ĝin antaŭ iu ajn grava lanĉo aŭ migrado. Por io vere konfidenca, uzu aŭtentikigon aŭ limigitan medion, neniam robots.txt sola.
Ĉu vi havas demandon aŭ sugeston, aŭ volas kompreni, kiel ni esploras kaj reviziis tiujn gvidilojn? Legu pri niaj redakciaj normoj kaj kiel kontakti nin.
Oftaj demandoj
Ĉu mi estu bloki miajn internajn serĉrezultatajn paĝojn en robots.txt?
Vi povas, kaj multaj grandaj retejoj faras tion, ĉar internaj serĉpaĝoj kreas malalt-valorajn, preskaŭ-duplikatajn URL-ojn. Se tiuj paĝoj jam estas indeksitaj, permesi puŝadon kaj apliki noindex unue, por ke ili malaperu, kaj poste bloki la vojon. Blokado sola povas lasi ilin blokitaj en rezultoj.
Ĉu robots.txt povas malhelpi AI-ilojn uzi mian enhavon?
Nur tiujn, kiuj elektas konformi. La ĉefaj AI-kompanioj publikigas uzant-agentajn nomojn, kiujn vi povas permesi aŭ bloki, kaj Google-Extended ebligas al vi eliri el la generativa modeltrejnado de Google dum vi restas en Search. Nenio el tio estas devigata, do uzu servilflankajn kontrolojn por io, kion vi devas malhelpi.
Se mi blokas paĝon en robots.txt, ĉu ĝi malaperos el Google?
Ne fidinde. Blokado regas puŝadon, ne indeksadon. Blokita URL ankoraŭ povas aperi, se aliaj paĝoj ligas al ĝi, kutime sen priskribo. Por forigi paĝon, permesi puŝadon kaj uzi noindex, aŭ forigi la paĝon kaj redoni 404 aŭ 410.
Ĉu robots.txt estas sekureca mezuro?
Ne. La dosiero estas publika kaj listigi vojon simple anoncas, ke ĝi ekzistas. Uzu aŭtentikigon, pasvortprotektadon aŭ limigitan medion por sentema enhavo.
Ĉu unu dosiero robots.txt kovras mian tutan retejon?
Ĝi kovras unu gastiganton, protokolon kaj pordon. Subdomejnoj kiel shop.example.com kaj protokolaj variantoj bezonas sian propran dosieron ĉe sia propra radiko.
Ĉu mi povas kombini robots.txt kun noindex?
Vi povas, sed la ordo gravas. La retpuŝilo devas rajti alpreni la paĝon por vidi la noindex-on. Permesi puŝadon ĝis la paĝo malaperis el rezultoj, kaj poste aldoni blokon, se vi volas ŝpari puŝ-penadon.
Kiom granda povas esti dosiero robots.txt?
Retpuŝiloj sekvantaj la normon devas analizi almenaŭ 500 kibibajtojn. Teni la dosieron mallonga kaj bone komentita estas bona praktiko kaj reduktas la ŝancon de eraroj.
Ĉu mi ankoraŭ bezonas robots.txt, se mia retejo estas malgranda?
Ofte ne en ia aktiva senco. Malgranda, pura retejo povas esti puŝata bone sen elaboraj reguloj. Simpla dosiero, aŭ neniu tute, estas kutime sufiĉa.
Fontoj
RFC 9309: Robots Exclusion Protocol (Internet Engineering Task Force (IETF)). The formal standard, its September 2022 publication, parsing and caching rules, and the statement that the protocol is not a content security measure.
About /robots.txt (The Web Robots Pages (robotstxt.org)). The original de facto standard, file location, and the point that robots can ignore the file and that it is publicly visible.
Sitemaps XML format and protocol (sitemaps.org). How the Sitemap directive in robots.txt advertises a sitemap location to search engines.
How Google Interprets the robots.txt Specification (Google Search Central). How a major crawler applies RFC 9309, longest match precedence, and the separation of crawling from indexing.