Keresőmotorok: teljes útmutató

A keresőmotor egy olyan rendszer, ami folyamatosan begyűjti a web tartalmát, eltárolja egy kereshető adatbázisban, majd egy beírt kifejezésre kiválogatja és sorrendbe teszi a legmegfelelőbb oldalakat. Négy szakasza van: bejárás, megjelenítés, indexelés és rangsorolás. A weboldalad az első háromban akadhat el anélkül, hogy erről bárki szólna.

Alapfogalmak

A keresőmotorról a legtöbben csak a végeredményt látják: beírsz valamit, és kapsz egy listát. A lista mögött viszont négy különálló szakasz dolgozik, és ezek egymásra épülnek. Ha bármelyik elakad, a következő el sem indul. Ez a legfontosabb dolog, amit érdemes megérteni, mert ebből következik az összes gyakorlati teendő sorrendje.

Bejárás

A bejárás az, amikor a kereső programja (angolul crawler vagy bot) letölti az oldaladat, ugyanúgy, ahogy egy böngésző tenné. A program a talált hivatkozásokat követve halad tovább, így jut el egyik oldalról a másikra. Ha egy oldalra semmi nem mutat, sem belső link, sem oldaltérkép, akkor a kereső nagy valószínűséggel soha nem jut el hozzá.

Megjelenítés

A letöltött oldal nyers HTML. Sok modern oldalon a tényleges tartalom csak JavaScript lefutása után jelenik meg. A kereső ezért egy második lépésben megjeleníti az oldalt, mint egy böngésző, és megnézi, mi lett belőle. Ez a lépés erőforrásigényes, és ezért nem feltétlenül történik meg azonnal a letöltés után.

Indexelés

Az indexelés során a kereső feldolgozza a megjelenített oldalt: kiszedi belőle a szöveget, azonosítja a témáját, az entitásait, a szerkezetét, és eltárolja egy kereshető adatbázisban. Nem minden bejárt oldal kerül be. Ha a kereső duplikáltnak, tartalmatlannak vagy más oldal gyengébb változatának ítéli, kihagyja. Ilyenkor az oldal létezik, de a keresőben nem szerepel.

Rangsorolás

Amikor valaki keres, a kereső az indexből válogat. Először értelmezi, mit akar a kereső ember, majd kiválogatja a releváns oldalakat, végül sorrendbe rendezi őket. A sorrendet sok jel együtt alakítja, és a pontos súlyozás nem nyilvános.

Felhasználói ügynök

Minden bot megnevezi magát egy azonosítóval, amit felhasználói ügynöknek hívunk. Ebből tudod a kiszolgáló naplójában megkülönböztetni, hogy melyik kereső járt nálad, és mikor. Ez a legmegbízhatóbb forrás arra, hogy valóban jártak-e az oldaladon, mert ez a te géped saját feljegyzése, nem becslés.

Hogyan működik?

A négy szakasz nem egy folyamatos futószalag, hanem négy külön sor, amiknek külön ütemük van. Ebből ered a legtöbb félreértés. Egy oldal lehet bejárva, de nem megjelenítve. Lehet megjelenítve, de nem indexelve. És lehet indexelve, de a rangsorolásban olyan hátul, hogy gyakorlatilag láthatatlan.

A bejárási keret

A kereső nem tölti le korlátlanul az oldalaidat. Figyeli, mennyire bírja a kiszolgálód, és mennyire tartja érdemesnek az oldalt gyakran visszanézni. Ha az oldalad lassan válaszol vagy hibákat ad vissza, a bot visszavesz a tempóból. Nagy oldalaknál ez közvetlenül számít: ha tízezer oldalból a bot naponta csak néhány százat néz meg, akkor egy frissítés hetekig nem jut el hozzá.

Ez az oka annak, hogy nagy oldalakon a felesleges URL-ek nem ártalmatlanok. Minden bejárt szűrő-kombináció és paraméteres cím elvesz a keretből, amit értékes oldalra lehetne költeni.

Miért nem minden oldal kerül indexbe

A kereső a tárolásról is dönt, nem csak a letöltésről. A leggyakoribb okok, amiért kimarad egy oldal:

Lényegében ugyanaz, mint egy másik oldalad, csak más címen.
Túl kevés önálló tartalom van rajta, például csak egy terméklista szöveg nélkül.
Kifejezett tiltás vagy jelzés van rajta, ami kizárja az indexelésből.
A kereső szerint nincs rá kereslet, és nem éri meg tárolni.

Az első három a te kezedben van. A negyedik nem, és ezzel érdemes megbékélni: nem minden oldalnak kell indexben lennie.

A JavaScript külön kockázat

Ha a tartalom csak JavaScript lefutása után jelenik meg, akkor a kereső a megjelenítési szakaszban látja meg. Ez a szakasz késhet, és hibázhat. A gyakorlati következmény: ami a nyers HTML-ben benne van, az biztosan látszik, ami csak futás után, az bizonytalanabb. Ezért a fontos tartalmat, a címeket és a belső linkeket érdemes a kiszolgált HTML-be tenni.

Fő módszerek

A négy szakaszhoz négy beavatkozási irány tartozik. Érdemes ebben a sorrendben dolgozni, mert mindegyik az előzőre épül.

1. Hozzáférés biztosítása

Ellenőrizd, hogy a robots fájl nem tiltja-e azt, amit indexelni szeretnél.
Készíts XML oldaltérképet, és csak indexelhető, valódi oldalakat tegyél bele.
Nézd meg, hogy minden fontos oldalra mutat-e legalább egy belső link.
Gondoskodj róla, hogy a kiszolgáló ne adjon hibát vagy időtúllépést bot-forgalomra sem.

2. Az indexelhetőség rendezése

Döntsd el minden oldaltípusnál, hogy indexben akarod-e látni. A szűrőoldalak zöme nem oda való.
A duplikált változatoknál jelöld meg, melyik a kanonikus.
A vékony oldalakat vagy töltsd fel tartalommal, vagy vond össze egy erősebbel.

3. A megértés segítése

Egy oldal egy témáról szóljon, világos címmel és alcímekkel.
A belső linkek horgonyszövege mondja meg, mi van a link túloldalán.
Strukturált adattal jelöld azt, ami jelölhető: terméket, cikket, helyi vállalkozást.

4. A rangsorolás javítása

Illeszd az oldalt a valódi keresési szándékhoz, ne csak a kulcsszóhoz.
Adj olyasmit, ami a többi találatban nincs: saját példát, eljárást, ellenőrzőlistát.
Szerezz hivatkozásokat, de csak olyan oldalra, ami az előző három ponton már rendben van.

Gyakori hibák

A bejárás és az indexelés összekeverése

A leggyakoribb tévedés az, hogy „a Google látta az oldalt, tehát indexelve van". A kettő két külön szakasz. A bejárás csak annyit jelent, hogy letöltötte. Ha az oldal nem került indexbe, a bejárás ténye önmagában semmit nem ér.

Az oldaltérkép mindenhatóságának hite

Az oldaltérkép javaslat, nem parancs. Attól, hogy beleteszel egy címet, az még nem lesz indexelve. Ha egy oldalra semmi nem mutat belső linkkel, az oldaltérkép nem pótolja a hiányzó szerkezetet, legfeljebb jelzi a létezését.

A robots fájllal való indexelés-tiltás

A robots fájl a bejárást szabályozza, nem az indexelést. Ha kitiltasz egy oldalt a bejárásból, a kereső nem tudja letölteni, tehát azt a jelzést sem látja meg rajta, amivel kizárnád az indexből. Ezért fordul elő, hogy egy tiltott oldal mégis megjelenik a találatok között, csak leírás nélkül. Ha valamit ki akarsz zárni az indexből, engedd bejárni, és az oldalon jelezd a kizárást.

Az azonnali hatás várása

A négy szakasznak külön ütemterve van. Egy módosítás akkor látszik, ha a bot visszatért, újra megjelenítette, újraindexelte, és a rangsorolás is újraszámolt. Ez napoktól hetekig tart, nagy oldalakon tovább.

A naplófájl mellőzése

A legtöbben csak a keresőkonzolt nézik. A kiszolgáló naplója viszont a saját adatod, és pontosan megmutatja, mikor, milyen bot, melyik oldalt kérte le, és milyen válaszkódot kapott. Ha egy oldal soha nem szerepel a naplóban, akkor nem indexelési probléma van, hanem bejárási.

Mérés

Három forrásból lehet megmérni, hogy melyik szakaszban akad el az oldalad. Mindhárom elérhető, és mindhárom mást mond.

Kiszolgáló-napló

Megmondja, járt-e a bot az oldalon, és mit kapott. Ez az egyetlen forrás a bejárási szakaszra. Amit érdemes kinyerni belőle: mely oldalakat kéri le a bot leggyakrabban, mely fontos oldalakat nem kéri le egyáltalán, és milyen arányban kap hibát.

Keresőkonzol

Megmondja, mi került indexbe, és mi nem, gyakran okkal együtt. Emellett megmutatja a megjelenéseket és a kattintásokat, tehát a rangsorolási szakaszról is ad adatot. Ez a keresőmotor saját adata a te oldaladról.

Élő ellenőrzés

Egy konkrét cím lekérdezése a keresőben megmondja, benne van-e az indexben. Ez a leggyorsabb próba egyetlen oldalra, de nagy mennyiségre nem alkalmas.

Döntési szabály a méréshez

Ez a három kérdés sorrendben eldönti, hol akadtál el:

Szerepel az oldal a kiszolgáló naplójában bot-lekérésként? Ha nem, bejárási probléma van. Nézd a belső linkeket és a robots fájlt.
Szerepel az indexben? Ha a napló szerint járt ott a bot, de nincs indexben, akkor indexelési probléma van. Nézd a duplikációt, a tartalom mennyiségét és a jelzéseket.
Van megjelenése a keresőkonzolban? Ha indexben van, de nulla a megjelenés, akkor rangsorolási probléma van, vagy olyan kifejezésre céloztál, amire nincs kereslet.

A sorrend nem cserélhető fel. A harmadik kérdésre adott válasz értelmetlen, ha az elsőre nem tudod a feleletet, mert egy be nem járt oldal rangsorolási elemzése idővesztegetés.

Nem csak egy keresőmotor van

Magyarországon a Google adja a keresések túlnyomó részét, ezért a gyakorlatban róla beszélünk. A négy szakasz viszont minden keresőnél ugyanaz, és az utóbbi években megjelent egy új szereplőtípus is, ami ugyanebből a négyesből dolgozik.

Klasszikus keresők

A Bing saját crawlerrel és saját indexszel dolgozik, és több más szolgáltatás is az ő indexéből él. Ha külföldi piacra dolgozol, érdemes a saját keresőkonzoljukat is bekötni, mert az adat más, mint a Google-é, és néha olyan hibát mutat meg, amit a másik nem.

Válaszmotorok és AI-asszisztensek

Az AI-asszisztensek is bejárják a webet, saját azonosítóval, és a válaszaikban idéznek forrásokat. Ami számukra fontos, részben más: a tiszta, önmagában is érthető megfogalmazás, a kérdés-válasz szerkezet és a következetes tényállítás. Ami viszont azonos: ha a bot nem fér hozzá az oldaladhoz, akkor idézni sem tud belőle.

Ebből egy praktikus következmény adódik. Ha az AI-asszisztensek forgalmát is szeretnéd, a robots fájlban az ő azonosítóikról is dönteni kell, méghozzá tudatosan. A kitiltás legitim döntés, de akkor ne várd, hogy megjelenj a válaszaikban.

Egy példa a három kérdés használatára

Tegyük fel, hogy egy webshop kategóriaoldala nem hoz forgalmat, és a tulajdonos szerint „a Google nem szereti az oldalt". Ez nem diagnózis, hanem érzés. A három kérdés pár perc alatt eldönti, mi a helyzet.

Napló. Kikeresed a kategóriaoldal címét a kiszolgáló naplójából, bot-lekérésre szűrve. Ha egyszer sem szerepel az elmúlt hetekben, akkor nem rangsorolási gond van. Megnézed, mutat-e rá belső link, és nem tiltja-e a robots fájl.
Index. Ha a napló szerint a bot rendszeresen lekéri, megnézed a keresőkonzolban, hogy indexben van-e. Ha nincs, a konzol jellemzően okot is mond: duplikált, más kanonikus oldal van megjelölve, vagy tartalmatlannak ítélte.
Megjelenés. Ha indexben van, megnézed a megjelenéseket. Ha vannak megjelenések, de nincs kattintás, akkor a cím és a leírás a teendő. Ha nincs megjelenés sem, akkor vagy nincs kereslet arra a kifejezésre, vagy az oldal nem arra a szándékra válaszol, amire a találati lista.

A három lépés három különböző teendőt ad, és egyik sem cserélhető fel a másikkal. Ez a legolcsóbb diagnosztikai eszköz, amit a SEO-ban ismerek, és a legtöbb vitát is ez zárja le.

Ellenőrzőlista egy új oldal indulásakor

A robots fájl nem tiltja azt, amit indexelni akarsz.
Minden fontos oldalra mutat legalább egy belső link.
Az oldaltérkép csak valódi, indexelhető címeket tartalmaz.
A fontos tartalom a kiszolgált HTML-ben van, nem csak futás után jelenik meg.
A duplikált változatoknál meg van jelölve a kanonikus cím.
A keresőkonzol be van kötve, és a naplóhoz is hozzáférsz.

Egy gyakori félreértést érdemes még tisztázni: a bejárási keret a kis oldalakat ritkán korlátozza. Néhány száz oldal alatt a bot jellemzően mindent elér, ezért ott a felesleges URL-ek takarítása nem hoz érzékelhető nyereséget. A keret akkor válik valódi szűk keresztmetszetté, amikor a címek száma tízezres nagyságrendbe lép, tipikusan webshopoknál a szűrők miatt.

Kapcsolódó részletes útmutatók

Innen három irányba érdemes továbbmenni. Az organikus keresés útmutatója azt mutatja meg, mi történik a találati oldalon, miután az oldalad bekerült az indexbe. A Googlebot útmutatója a bejárás gyakorlati részleteit veszi végig, a felhasználói ügynököktől a bejárási keret kezeléséig. A SEO teljes útmutatója pedig a keretbe helyezi mindezt, és megmutatja, milyen sorrendben érdemes dolgozni.

Ha most kezded, a sorrend legyen ez: először mérd meg, hol akadsz el a fenti három kérdéssel, és csak utána olvasd el azt a részletes útmutatót, ami arra a szakaszra vonatkozik. A keresőmotor működésének teljes megértése nélkül is lehet jól optimalizálni, ha a sorrendet betartod. Fordítva viszont nem: aki a rangsorolással kezd egy be nem járt oldalon, az hónapokat veszít.