Crawling: teljes útmutató

A crawling az a folyamat, amikor egy kereső programja hivatkozásokat követve végigjárja a weboldalad, és letölti az oldalakat. Nem minden oldalt jár be, és nem egyforma gyakorisággal: a szerkezet, a belső linkek és a kiszolgáló válaszideje dönti el, mi jut el hozzá és mi marad ki.

Alapfogalmak

Felfedezés és bejárás

A két dolog nem ugyanaz. A felfedezés az, amikor a kereső megtudja egy cím létezését. A bejárás az, amikor le is tölti. Egy cím lehet felfedezett, de sokáig be nem járt, ha a kereső nem tartja elég fontosnak.

Bejárási keret

Az a mennyiség, amit a kereső hajlandó letölteni az oldaladról egy adott időszakban. Két dolog alakítja: mennyit bír el a kiszolgálód lassulás nélkül, és mennyire tartja érdemesnek a kereső gyakran visszatérni. Kis oldalakon ez ritkán korlát, nagy webshopoknál viszont a legfontosabb technikai kérdés.

Bejárási mélység

Hány kattintásra van egy oldal a főoldaltól. Minél mélyebben van, annál ritkábban jut el hozzá a bot, és annál kevésbé tartja fontosnak. Három kattintás alatt tartani a fontos oldalakat jó ökölszabály.

Árva oldal

Olyan cím, amire egyetlen belső link sem mutat. Létezik, működik, meg lehet nyitni, de a kereső nem talál rá természetes úton. Ez az egyik leggyakoribb és legkönnyebben javítható hiba.

Bejárási csapda

Olyan szerkezet, ami gyakorlatilag végtelen sok címet generál, és a bot beleragad. A klasszikus példák: naptár, amiben előre lehet lapozni évtizedekig, és szűrőrendszer, ahol minden kombináció saját címet kap.

Hogyan működik?

A bot egy sorból dolgozik, amibe a felfedezett címek kerülnek. Kivesz egy címet, letölti, kiolvassa belőle a linkeket, és azokat visszateszi a sorba. Ez a ciklus fut folyamatosan.

Mi alapján dönt, mit jár be előbb

A pontos képlet nem nyilvános, de a megfigyelhető viselkedés következetes. Előbb kerül sorra az a cím, amire sok belső link mutat, ami közel van a főoldalhoz, ami szerepel az oldaltérképben, és ami korábban gyakran változott. Hátrébb kerül, ami mélyen van, amire kevés link mutat, és ami hónapok óta változatlan.

Mi történik hibánál

Ha a kiszolgáló hibakódot ad, a bot később újrapróbálja. Ha a hiba tartós, ritkítja a látogatásokat. Ha az oldal lassan válaszol, szintén visszavesz a tempóból, mert nem akarja terhelni a kiszolgálót. Ez azt jelenti, hogy egy hétvégi kiszolgáló-probléma hetekig érezhető hatással lehet a bejárásra.

Az átirányítások szerepe

Egy átirányítás plusz egy lekérés. Ha egy címről másikra, onnan pedig egy harmadikra megy tovább az út, akkor egyetlen oldal eléréséhez három letöltés kell. Nagy oldalon ez sok felesleges munkát jelent, és a lánc végén álló oldal később kerül sorra.

Fő módszerek

1. Térképezd fel, mi van

Mielőtt bármit javítanál, tudnod kell, hány címed van, és a bot ebből mennyit ér el. Három forrásból áll össze a kép: a saját oldaltérképed, egy saját crawler futtatása az oldaladon, és a kiszolgáló naplója. A három ritkán egyezik, és pont az eltérés a lelet.

2. Szüntesd meg az árva oldalakat

Vesd össze az oldaltérképet a saját crawler eredményével. Ami az oldaltérképben van, de a bejárásban nem jött elő, az árva. A javítás egyszerű: link egy releváns, jól bejárt oldalról.

3. Rövidítsd a láncokat

Keresd meg az egymásba fűzött átirányításokat, és irányítsd mindet közvetlenül a végállomásra. Ez egy kiadós, de egyszeri munka, és nagy oldalon azonnal felszabadít bejárási keretet.

4. Kezeld a szűrőket és paramétereket

Döntsd el oldaltípusonként, mi indexelődjön. A gyakorlatban:

Fő kategóriák: indexelhetők, bejárhatók.
Egyetlen, gyakran keresett szűrő: lehet saját, indexelhető oldal, ha van rá kereslet.
Kombinált szűrők: jellemzően nem indexelendők, és a bejárásukat is érdemes korlátozni.
Rendezési paraméterek: ugyanaz a tartalom más sorrendben, tehát kanonikus jelöléssel az alapváltozatra mutatnak.

5. Tartsd rendben az oldaltérképet

Csak olyan cím kerüljön bele, ami létezik, kétszázas választ ad, indexelhető, és kanonikus önmagára. Ha az oldaltérkép tele van átirányítással és hibás címmel, a kereső kevésbé fog megbízni benne.

6. Segítsd a felfedezést új tartalomnál

Egy friss oldal akkor kerül be gyorsan, ha több út vezet hozzá. Négy dolog gyorsít:

Link egy gyakran bejárt oldalról. A főoldal vagy egy erős kategóriaoldal a legjobb kiindulás.
Oldaltérkép a módosítás dátumával. Ez jelzi, hogy van új anyag.
Egyedi kérés a keresőkonzolban. Egyetlen fontos oldalnál érdemes, tömegesen nem.
Külső hivatkozás. Ha valaki hivatkozik az új oldalra, a felfedezés lényegesen gyorsul.

7. Szabaduljon fel a keret: mit lehet kivenni

Ha a bejárási keret szűkös, a leggyorsabb nyereség nem az új tartalom, hanem a régi takarítása. Öt típus, ami tipikusan felesleges:

Rendezési és megjelenítési paraméterek minden változata.
Belső keresési találati oldalak.
Kosár, fiók és egyéb tranzakciós oldalak.
Nyomtatóbarát változatok.
Régi, már nem használt kampányoldalak, amikre semmi nem mutat.

Döntési szabály: ha egy oldaltípusra soha nem érkezne keresésből forgalom, akkor nincs oka az indexben lennie, és a bejárása is korlátozható.

Gyakori hibák

A robots fájl túl szigorú használata

Sokan azt gondolják, hogy a bejárás tiltása megoldja az indexelést is. Nem oldja meg: a tiltott oldal megjelenhet a találatok között, csak leírás nélkül, mert a kereső nem tudta letölteni, tehát a kizáró jelzést sem látta. Ha ki akarsz zárni valamit az indexből, engedd bejárni.

A JavaScriptbe rejtett navigáció

Ha a menü vagy a cikklista csak JavaScript futása után jelenik meg, akkor a linkek a megjelenítési szakaszra várnak. Ez a szakasz késhet, és hibázhat. A fontos linkek legyenek benne a kiszolgált HTML-ben.

A végtelen naptár és a szűrőrobbanás

Egy naptár, amiben 2099-ig lehet lapozni, gyakorlatilag végtelen címet generál. Ugyanez a szűrőknél: öt szűrő, mindegyikben öt lehetőséggel, több ezer kombinációt ad. A bot ezeket végigjárja, és közben a valódi oldalaidra nem jut ideje.

A lassú kiszolgáló

A lassú válaszidő nemcsak a látogatót zavarja, hanem a bejárást is fékezi. Ha a válaszidő megugrik, a bot visszavesz, és a friss tartalom lassabban jut el a keresőbe.

A bot kitiltása terhelés miatt

Ha a kiszolgáló terhelt, csábító a botot korlátozni. Ezzel viszont a keresőbeli jelenlétet vágod el. A helyes sorrend: előbb derítsd ki, milyen címeket jár, és szüntesd meg a feleslegeseket.

Egy végigvitt eset: a webshop, ahol a termékek nem jutottak be

Egy háromezer termékes webshop tulajdonosa azt tapasztalta, hogy az új termékei hónapokig nem jelennek meg a keresőben, a régiek viszont igen. A feltételezés az volt, hogy a termékleírások gyengék.

Mit mértünk

Napló. Kiderült, hogy a bot naponta több ezer kérést intéz az oldalhoz, tehát a bejárási keret bőven elég lenne.
A kért címek megoszlása. Itt jött a lelet: a kérések túlnyomó része szűrőkombinációkra ment, olyan címekre, amiket soha senki nem keresett. Az új termékoldalakra alig jutott valami.
Saját crawler. Megerősítette: a szűrőrendszer minden kombinációja saját címet kapott, és ezek egymásra is hivatkoztak, tehát a bot körbe-körbe járt bennük.
Bejárási mélység. Az új termékek hat-hét kattintásra voltak a főoldaltól, mert csak a kategórián belül, a lapozás végén jelentek meg.

Mit csináltunk

A kombinált szűrőoldalak bejárását korlátoztuk, a rendezési paramétereket pedig kanonikus jelöléssel az alapváltozatra irányítottuk.
A főoldalra és a kategóriaoldalak tetejére bekerült egy „új termékek" blokk, ami közvetlen linket ad a friss árukra.
Az oldaltérkép szétbontásra került: külön a kategóriák, külön a termékek, és a termék-oldaltérkép a legutóbbi módosítás dátumával.

Az eredmény és a tanulság

A bot figyelme hetek alatt átrendeződött, és az új termékek napok alatt bekerültek az indexbe. Egyetlen termékleírás sem lett átírva.

A tanulság az, ami a legtöbb bejárási esetben: a probléma nem a tartalom minősége volt, hanem az, hogy a bot ideje elment olyasmire, aminek semmi értéke nem volt. Ez a fajta hiba soha nem ad hibaüzenetet, és kizárólag a napló megnézésével derül ki.

Mérés

Kiszolgáló-napló

Ez az egyetlen forrás, ami a bejárásról valódi adatot ad, mert a te géped saját feljegyzése. Négy kérdésre válaszol:

Mely címeket kéri a bot a leggyakrabban, és ezek fontosak-e.
Mely fontos címeket nem kéri hetek óta.
Milyen arányban kap hibát vagy átirányítást.
Mennyi kérés megy olyan címekre, amiknek nem is kellene indexben lenniük.

Saját crawler futtatása

Egy crawler végigjárja az oldalad úgy, ahogy a bot tenné, és megmutatja a szerkezetet: a bejárási mélységet, az árva oldalakat, a láncokat, a hibás linkeket. Ez a leggyorsabb módja annak, hogy lásd, mit lát a kereső.

Keresőkonzol bejárási jelentése

Megmutatja, hány kérést intézett a kereső az oldaladhoz, milyen válaszidővel, és milyen válaszkódokkal. Emellett egyedi címeknél látod, mikor járt ott utoljára a bot.

Döntési szabály a méréshez

Szerepel a cím a naplóban bot-lekérésként az elmúlt hetekben? Ha nem, felfedezési vagy hozzáférési probléma van.
Ha szerepel, milyen választ kapott? Hiba vagy átirányítás esetén az a teendő.
Ha rendben letöltötte, de az oldal nincs indexben? Akkor már nem bejárási kérdés, hanem indexelési.

A sorrend fix, és ez a lényeg: a bejárási kérdést nem lehet indexelési eszközzel megoldani, és fordítva sem.

Negyedéves ellenőrzőlista

Az oldaltérképben csak létező, indexelhető címek vannak.
Nincs olyan fontos oldal, amire egyetlen belső link sem mutat.
Nincs kettőnél hosszabb átirányítási lánc.
A hibás válaszkódok aránya nem nőtt.
Nincs olyan oldaltípus, ami feleslegesen viszi el a bejárási keretet.
A fontos oldalak három kattintáson belül vannak a főoldaltól.

Nagy oldal és kis oldal: két különböző munka

A bejárással kapcsolatos tanácsok nagy része nagy oldalakra íródott, és kis oldalon feleslegesen bonyolítja az életet. Érdemes elkülöníteni a kettőt.

Néhány száz oldal alatt

A bejárási keret itt gyakorlatilag nem korlát: a bot mindent elér, ami elérhető. A teendő egyszerű és rövid. Legyen minden fontos oldal linkelve a navigációból, ne legyen árva oldal, és az oldaltérkép legyen naprakész. A szűrők és paraméterek finomhangolására itt nem érdemes időt fordítani.

Több ezer oldal felett

Innen kezdve a keret valódi szűk keresztmetszet, és a munka jellege megváltozik. A fókusz átkerül arra, hogy mi ne kerüljön a bot elé: a szűrőkombinációk, a rendezési paraméterek és a belső keresési oldalak kezelése lesz a fő feladat. Ilyen méretnél a naplóelemzés nem opcionális, mert a szerkezet fejben már nem átlátható.

A köztes eset

Néhány száz és néhány ezer oldal között a döntés attól függ, milyen gyorsan nő az oldal. Ha havonta több száz új címed keletkezik, érdemes a nagy oldalak szabályai szerint dolgozni, mielőtt a probléma kialakul. Utólag takarítani mindig drágább, mint eleve nem létrehozni a felesleges címeket.

Mikor NEM a bejárás a probléma

A bejárás könnyen válik bűnbakká, mert technikai és nehezen érthető. Négy helyzet, amikor biztosan nem itt van a baj, és kár rá időt költeni:

Az oldal indexben van, de hátul áll. Ez rangsorolási kérdés. A bot elvégezte a dolgát.
Van megjelenés, de nincs kattintás. A cím és a leírás a teendő.
Kis oldal, néhány tucat címmel. Ott a bejárási keret gyakorlatilag korlátlan, tehát a takarítás nem hoz nyereséget.
Frissen indult oldal, pár hetes. Türelem kell, nem beavatkozás. A kereső még most ismeri meg.

Ez a négy eset együtt a bejárásra fogott problémák nagy részét lefedi. Mielőtt bármelyik technikai javításba belekezdenél, érdemes kizárni őket, mert a rossz helyen végzett munka nem semleges: időt visz el a valódi teendőtől.

Kapcsolódó részletes útmutatók

A keresőmotorok útmutatója a teljes négy szakaszt mutatja be, tehát ott látod, hova illeszkedik a bejárás. A Googlebot útmutatója a Google konkrét bejárójáról szól, a felhasználói ügynököktől a bot ellenőrzéséig. Az organikus keresés útmutatója pedig onnan folytatja, hogy az oldalad már bekerült az indexbe.

Ha most kezded, egy dolgot vigyél el innen: a bejárás nem feltételezés kérdése. A napló megmondja, járt-e ott a bot, és ez a pár perces ellenőrzés a legtöbbször megspórol egy hetekig tartó, rossz irányú munkát.