Iga saidi lehti indekseerivad regulaarselt otsingurobotid, kes töötlevad saidil olevat teavet nii, et see oleks otsingumootorite kasutajate nõudmisel kättesaadav. Otsingumootorite külastajate külastused mõjutavad saidi liiklust positiivselt ja stimuleerivad ressursi arengut. Kuid kui saidil on lehti, mille teave pole mõeldud Interneti-vaatajaskonnale (näiteks kasutajate isiklikud lehed või registreerimisleht), siis pole üleminek otsingumootoritelt sellistele lehtedele vajalik ja on parem keelata selle teabe indekseerimine.
Vajalik
- - on oma veebisait
- - teada linke lehtedele, mille indekseerimine peaks olema keelatud.
- - omama vähemalt algteadmisi HTML-ist
Juhised
Samm 1
Selleks et takistada otsingurobotil saidi teatud lehtede indekseerimist, peate muutma faili robots.txt, kui see juba teie saidil on, või looma selle faili.
2. samm
Kui fail robots.txt on saidile juba üles laaditud ja seda faili on võimalik redigeerida otse ressursi juhtpaneelilt, siis avage redigeerimiseks veebiteenuse kaudu robots.txt.
3. samm
Kui otsepaneelilt pole võimalik soovitud failis muudatusi teha, avage brauseris robots.txt, klõpsates selle faili lingil. Kopeerige kõik avanenud lehe andmed ja kleepige need Notepadi lehele.
4. samm
Kui saidil pole robots.txt-d, avage programm "Notepad", mille uues dokumendis peate sisestama vajaliku koodi.
5. samm
Kirjutage tekstidokumendi tühjale lehele esimene nõutav rida:
Kasutaja agent: *
6. samm
Seejärel minge järgmisele reale, vajutades klahvi Enter ja tippige järgmine kood:
Disallow: / index / page3Disallow: näitab, et indekseerimist ei toimu ja / index / page3 on link lehele, mida pole vaja indekseerida. Sisestage lingi / register / leht3 asemel link oma saidi lehele, mille soovite robotite töötlemiseks blokeerida.
7. samm
Pange tähele, et lingi alguses puudub domeeninimi ise; selle olemasolu kirjes tähendab edasikaldkriipsu. Saidi roomamisel sisestab otsingurobot sellistesse linkidesse automaatselt domeeninime. Seetõttu kirjutage sel viisil linke vajalikele lehtedele.
8. samm
Pärast keelamist: saate paigutada mitte ainult lingi konkreetsele lehele, vaid ka lingi saidi mis tahes jaotisele või kataloogile. Samamoodi võite keelata saidi soovitud osa indekseerimise.
9. samm
Kui on vaja keelata ressursi mitme erineva sektsiooni töötlemine robotite poolt, kirjutage uue rea igale jaotisele või lehele link, mille alguses ärge unustage sisestada kirje Keela:.
10. samm
Robots.txt muutmise lõpuleviimiseks klõpsake juhtpaneelil faili redigeerimisel nuppu "Salvesta" või salvestage tekstidokument kirjetega nime robots.txt all ja laadige see fail saidile üles.
