Indekseerimine on otsinguroboti abil Interneti-ressursil asuvate failide skannimine. See protseduur viiakse läbi nii, et sait oleks otsingumootori erinevate päringute otsingutulemites saadaval. Suurimate otsingumootorite seas on tänapäeval Yandex, kes teostab seda skannimist omal moel.
Juhised
Samm 1
Interneti-saidi indekseerimist teostavad spetsiaalsed automaatsed programmid - otsingurobotid, mis jälgivad automaatselt uute saitide ilmumist veebis, skaneerides pidevalt igal ressursil Internetis asuvaid Interneti-lehti, faile ja linke neile.
2. samm
Skannimiseks läheb robot kataloogi, kus ressurss asub konkreetses serveris. Uue saidi valimisel juhindub robot selle olemasolust. Näiteks on olemas arvamus, et Yandex skannib kõigepealt venekeelses domeenis ja vene keeles loodud saite - ru, rf, su või ua ja alles seejärel kolib teistesse piirkondadesse.
3. samm
Robot navigeerib saidile ja skaneerib selle struktuuri, otsides kõigepealt faile, mis näitavad edasist otsingut. Näiteks kontrollitakse saiti saidil Sitemap.xml või robots.txt. Neid faile saab kasutada otsinguroboti käitumise määramiseks skannimisel. Kasutades saidikaarti (sitemap.xml), saab robot ressursi ülesehitusest täpsema ülevaate. Veebimeister kasutab faili robots.txt, et määratleda failid, mida ta ei sooviks otsingutulemites kuvada. Näiteks võib see olla isiklik teave või muud soovimatud andmed.
4. samm
Pärast nende kahe dokumendi skannimist ja vajalike juhiste saamist hakkab robot HTML-koodi sõeluma ja saadud silte töötlema. Vaikimisi alustab otsingumootor robots.txt-faili puudumisel kõigi serverisse salvestatud dokumentide töötlemist.
5. samm
Dokumentides olevatele linkidele klõpsates saab robot teavet ka selle saidi kohta, mis on selle ressursi järgi skannimiseks järjekorras. Saidi skannitud failid salvestatakse tekstikoopia ja struktuurina Yandexi andmekeskuste serveritesse.
6. samm
Uuesti skannimise vajaduse määravad robotid ka automaatselt. Indekseerimise uuesti läbimisel võrdleb programm olemasolevat skannimistulemust saidi värskendatud versiooniga. Kui programmi poolt saadud andmed erinevad, värskendatakse saidi koopiat ka Yandexi serveris.
