Mis on roomik? roomik näitaja "Yandex" ja Google

Iga päev internetis on tohutu uute materjalide loomiseks veebilehel uuendatud vana veebilehti, laadida fotosid ja videoid. Ilma peidetud otsingumootorid ei leitud World Wide Web, ükski neist dokumentidest. Alternatiivid nagu robotite programmid igal ajahetkel ei ole olemas. Mis on otsingumootori robot, miks te seda vajavad ja kuidas toimida?

Mis on otsingumootori robot

Roomik koha (otsingumootori) - see on automaatne programm, mis on võimeline külastada miljoneid veebilehti, kiiresti navigeerida Interneti kaudu ilma operaatori sekkumiseta. Bots pidevalt skaneerida ruumi World Wide Web, leida uusi veebilehti ja külastada regulaarselt juba indekseeritud. Muud nimed veebiämblikud ämblikud, roomajaid eest.

Miks on otsingumootori Spiders

Peamised funktsioonid, et täita otsingumootori ämblikud - veebilehti indekseeritud, samuti teksti, pilte, heli- ja videofaile, mis on neile. Bots kontrollida viited, peeglitest (koopiad) ja uuendusi. Robotid täidavad ka HTML-koodi kontrolli nõuetele vastavuse standardite maailmaorganisatsiooni, mis arendab ja rakendab tehnoloogilisi standardeid World Wide Web.

Mis on indekseerimine, ja miks see on vajalik

Indekseerimine - on tegelikult on protsess külastavad eelkõige veebilehe otsingumootorid. Programm skaneerib sellel saidil, pildid, videod, väljaminevate linkide, siis ilmub leht otsingutulemustes. Mõningatel juhtudel saidi ei saa skannida automaatselt, siis võib lisada otsingumootori käsitsi webmaster. Tavaliselt juhtub see puudumisel väliseid linke teatud (sageli alles hiljuti loodud) lehel.

Kuidas otsingumootor Spiders

Iga otsimootor on oma bot Google'i otsing robot võivad oluliselt erineda vastavalt mehhanism töötab sarnane programm, "Yandex" või teiste süsteemidega.

Üldiselt robot tööpõhimõte on järgmine: programmi "pärineb" kohas ja välised lingid esilehele, "loeb" Web ressurss (sealhulgas neile, kes otsivad õhuliini et ei näe kasutaja). Boat kuidas lehtedel liikumiseks saidi ja liikuda edasi teistele.

Programm valib, mis saidi indeks? Sagedamini kui ei "Trip" ämblik algab uudiste saidid või peamine ressurss kataloogid ja lugeja suurte tuletatud massi. Roomik kontrollib pidevalt lehti ükshaaval kiirusest ja järjepidevuse indekseerimise järgmisi tegureid:

• Sisemine: perelinovka (sisemised lingid lehtede vahel sama ressurssi), saidi suurus, õige koodi, kasutajasõbralik ja nii edasi;
• Välised: kogu tuletatud massi, mis viib saidile.

Esimene asi otsingu robot otsinguid tahes veebilehel robots.txt. Edasine ressurss indekseerimine toimub teabe põhjal sai just sellest dokumendist. See fail sisaldab konkreetseid juhiseid "ämblikud", mis võib suurendada võimalusi lehe külastamise otsingumootorid, ja järelikult saavutada varajane tabas saidi "Yandex" või Google.

Programmi analoogid roomikute

Sageli termin "otsing robot" on segi intelligentne, kasutaja või autonoomsete agentide, "sipelgate" või "ussid". Üleni olulisi erinevusi ainult võrreldes agente ja teisi mõisteid viidata sarnast tüüpi robotid.

Näiteks ained võivad olla:

• intellektuaalse: programmi, mis on liikunud veebilehelt, sõltumatult otsustada, kuidas edasi minna; nad ei ole väga levinud internetis;
• Autonoomne: Need ained aitavad kasutajal valida toote, otsida või täites vormi, nn filtrid, mis on vähe seotud võrgu programmid.;
• kasutaja: programmi kaasa kasutaja interaktsiooni World Wide Web, brauser (näiteks Opera, IE, Google Chrome, Firefox), käskjalad (Viber, telegramm) või e-posti programmid (MS Outlook ja Qualcomm).

"Ants" ja "ussid" sarnanevad rohkem otsingumootori "ämblikud". Esimene vorm vahel võrgu- ja järjekindlalt suhelda niimoodi ant koloonia, "ussid" on võimalik imiteerida muus osas sama standard roomik.

Variety otsingumootori robotid

Eristada mitut tüüpi roomikute. Sõltuvalt programmi eesmärk, need on:

• "Peegel" - duplikaadid lugemas veebilehed.
• Mobile - keskendudes mobiilne versioonid veebilehti.
• Quick - määrata uut teavet kiiresti, vaadates viimaseid uudiseid.
• Viide - võrdlusindeksi, loota nende numbrid.
• Indexers erinevat tüüpi sisu - eriprogrammid teksti, audio, video, pildid.
• "Nuhkvara" - otsib lehti, mis on seni kuvatakse otsingumootori.
• "Rähn" - perioodiliselt külastada saite kontrollida nende asjakohasust ja tõhusust.
• Riiklik - veebi sirvimise vahendid asuvad ühe riigi domeeni (nt .mobi või .kz .ua).
• Global - indeks kõik riiklikud saitidele.

Robotid suuremate otsingumootorite

On ka mõned otsingumootori ämblikud. Teoreetiliselt nende funktsionaalsus võib olla väga erinev, kuid praktikas programmid on peaaegu identsed. Peamised erinevused indekseerimise veebilehti robotitel kaks suurt otsingumootorid on järgmised:

• Rangust katsetamine. Arvatakse, et mehhanism roomik "Yandex" mõnevõrra rangemad hinnangute saidi järgimise World Wide Web.
• Säilitamine ala terviklikkusele. Google roomik indeksid kogu saiti (sealhulgas meedia sisu), "Yandex" saab vaadata ka sisu selektiivselt.
• Speed test uusi lehti. Google lisab uusi ressurss otsingutulemuste mõne päeva jooksul, juhul "poolt Yandex" protsess võib võtta kaks nädalat või rohkem.
• Sagedus uudelleenindeksointi. Roomik "Yandex" värskendusi kontrollima kaks korda nädalas, ja Google - üks iga 14 päeva.

Internet, muidugi mitte ainult kahe otsingumootorid. Muud otsingumootorid on nende robotid, kes järgivad oma indekseerimine parameetritega. Lisaks on mitu "ämblikud", mis on mõeldud mitte suuremate otsingumootorite ressursse ning üksikud uurimisrühmad või Webmasters.

ühise väärarvamused

Vastupidiselt levinud arvamusele, "ämblikud" ei töödelda informatsiooni. Programm ainult skaneerib ja salvestab veebilehti ja edasiseks töötlemiseks kulub täiesti erinevad robotid.

Ka paljud kasutajad usuvad, et otsingumootor Spiders on negatiivne mõju ja "kahjulik" Internet. Tegelikult mõned versioonid "ämblikud" võib oluliselt koormata server. Samuti on inimfaktor - veebihaldur, kes on loonud programmi, saab teha vigu robot konfiguratsiooni. Kuid enamik olemasolevaid programme on hästi kavandatud ja professionaalselt juhitud ja kõik tekkivate probleemide viivitamata eemaldada.

Kuidas juhtida indekseerimine

Otsingumootori robotid on automatiseeritud programmid, kuid indekseerimine võib osaliselt kontrolli all webmaster. See väga aitab välise ja sisemise optimeerimise ressursi. Lisaks saate käsitsi lisada uue saidi otsingumootori: suuri ressursse on eriline vorm veebilehti registreerimist.