Googlebot: teljes útmutató

A Googlebot a Google programja, ami letölti a weboldalakat, hogy azok bekerülhessenek a keresőbe. Linkeket és oldaltérképeket követve halad, és a látogatásainak ütemét a kiszolgálód terhelhetősége és az oldalad fontossága szabja meg. Ha nem jár egy oldalon, az az oldal nem tud megjelenni a találatok között.

Alapfogalmak

A Googlebot nem egyetlen program, hanem egy családnév. Több változata van, és a naplóban mindegyik külön azonosítóval jelentkezik be. A legfontosabb megkülönböztetés a mobil és az asztali változat: a Google ma elsősorban a mobil változattal járja be az oldalakat, tehát amit a mobil böngészőnek kiszolgálsz, az számít elsődlegesen.

Felhasználói ügynök

Minden HTTP-kérés tartalmaz egy azonosító szöveget arról, hogy ki kéri az oldalt. A Googlebot ebben megnevezi magát. A kiszolgálód naplójában ez alapján tudod kiszűrni a látogatásait, és ez a legmegbízhatóbb bizonyíték arra, hogy járt-e nálad.

Bejárás és megjelenítés

A letöltés és a megjelenítés két külön lépés. Először a nyers HTML érkezik meg, később pedig a Google egy böngészőmotorral megjeleníti az oldalt, hogy lássa, mit hoz létre a JavaScript. A két lépés között idő telhet el, és a második nem mindig sikerül hibátlanul.

Bejárási keret

A Google nem korlátlanul tölti le az oldalaidat. Két tényező alakítja a mennyiséget: mennyit bír el a kiszolgálód anélkül, hogy lassulna, és mennyire tartja a Google érdemesnek gyakran visszanézni az oldalaidat. Kis oldalakon ez ritkán jelent korlátot. Tízezres nagyságrendű címszámnál viszont valódi szűk keresztmetszet lesz.

Robots fájl

Az oldalad gyökerében álló szövegfájl, ami megmondja a botoknak, mit járhatnak be. Fontos, és sokszor félreértett tulajdonsága, hogy a bejárást szabályozza, nem az indexelést.

Hogyan működik?

A Googlebot munkája egy folyamatosan karbantartott sorból indul. Ebben a sorban azok a címek állnak, amikről a Google tud: linkekből, oldaltérképekből, korábbi bejárásokból. A bot ebből a sorból válogat, és letölti az oldalakat.

Honnan tud egy címről

Belső linkek. A legfontosabb forrás. Amire az oldaladon belül semmi nem mutat, az árva oldal, és a Google jó eséllyel nem talál rá.
Külső linkek. Más oldalakról érkező hivatkozások szintén felfedezési forrás.
XML oldaltérkép. Bejelentheted vele a címeidet. Ez javaslat, nem garancia.
Korábbi bejárás. Amit egyszer megtalált, azt időről időre visszanézi.

Mi történik a letöltés után

A letöltött oldal bekerül egy feldolgozási sorba. A Google kiolvassa belőle a linkeket, és azokat visszateszi a bejárási sorba. Ezután, ha szükséges, megjeleníti az oldalt, majd eldönti, hogy indexelje-e. A lépések között minden esetben eltelhet idő, és ez magyarázza, miért nem látszik azonnal egy módosítás.

Miért lassít le a bot

A Googlebot figyeli, hogyan válaszol a kiszolgálód. Ha lassul a válaszidő, vagy hibakódok jönnek vissza, visszavesz a tempóból, hogy ne terhelje túl az oldalt. Ez ésszerű viselkedés, de van egy kellemetlen következménye: egy átmeneti kiszolgáló-probléma után a bejárás nem azonnal áll vissza a korábbi szintre.

Az ellenkező eset

Előfordul, hogy a bot túl sokat kér le, és ez terheli a kiszolgálót. Ilyenkor a helyes megoldás nem a kitiltás, hanem az ok megszüntetése: jellemzően felesleges, paraméteres címek tömege okozza, amit a bot végigjár.

Fő módszerek

1. Ellenőrizd, hogy valóban a Googlebot járt-e nálad

A felhasználói ügynök szövegét bárki beállíthatja magának, tehát önmagában nem bizonyíték. Ha fontos a kérdés, például mert kitiltanál valakit, a helyes eljárás a fordított névfeloldás: a kérés IP-címéből visszakeresed a hosztnevet, majd azt a nevet visszafeloldod IP-re, és megnézed, hogy ugyanazt az IP-t kapod-e. Ha nem, akkor nem a Google kérte az oldalt.

Ez a lépés fontosabb, mint amilyennek látszik: sok bot adja ki magát Googlebotnak, és ha a naplóelemzésed ezeket is beleszámolja, akkor a bejárási adataid túlbecsültek lesznek.

2. Nyisd meg az utat a fontos oldalakhoz

Minden fontos oldalra mutasson legalább egy belső link, lehetőleg a navigációból vagy egy kategóriaoldalról.
Az oldaltérképbe csak indexelhető, valódi címek kerüljenek. A hibás vagy átirányított címek rontják az oldaltérkép megbízhatóságát.
Kerüld a mély, sok kattintásra lévő szerkezetet. Amihez a főoldalról öt-hat kattintás kell, ahhoz a bot is ritkábban jut el.

3. Takarítsd ki a felesleges címeket

Ha a bot ideje elmegy szűrő-kombinációkra és paraméteres másolatokra, akkor a fontos oldalakra kevesebb jut. Teendők sorrendben:

Nézd meg a naplóban, mely címeket kéri le a bot a leggyakrabban.
Azonosítsd, melyik ebből olyan, aminek nem kell indexben lennie.
Döntsd el, mit akarsz vele: bejárás tiltása a robots fájlban, vagy kanonikus jelölés az eredeti oldalra.
Mérd újra néhány hét múlva, hogy a bot figyelme a fontos oldalakra került-e.

4. Segítsd a megjelenítést

A fontos tartalom, a címsorok és a belső linkek legyenek benne a kiszolgált HTML-ben. Ami csak JavaScript futása után jelenik meg, az a második lépésre vár, és ott több dolog tud elromlani: időtúllépés, blokkolt erőforrás, hibás szkript.

Gyakori hibák

A robots fájllal akarunk indexelést tiltani

Ez a leggyakoribb és legdrágább félreértés. Ha a robots fájlban letiltod egy oldal bejárását, a Google nem töltheti le, tehát azt a jelzést sem látja meg rajta, amivel kizárnád az indexből. Az oldal így megjelenhet a találatok között, csak leírás nélkül. Ha ki akarsz zárni valamit az indexből, engedd bejárni, és az oldalon jelezd a kizárást.

Az árva oldal

Elkészül egy kampányoldal, felkerül, de semmi nem hivatkozik rá. A tulajdonos várja a forgalmat, ami nem jön. A Google nem tud a címről, mert nem vezet hozzá út. Egyetlen belső link megoldja.

A bot kitiltása terhelés miatt

Ha a kiszolgáló terhelt, kézenfekvő ötlet a botot korlátozni. Ezzel viszont a keresőbeli jelenlétet vágod el. A helyes sorrend: előbb derítsd ki, milyen címeket jár, és szüntesd meg a feleslegeseket, és csak akkor korlátozz, ha ez nem elég.

A naplóelemzés hamis Googlebotokkal

Ha a naplóból csak a felhasználói ügynök szövegére szűrsz, akkor a magukat Googlebotnak kiadó botokat is beleszámolod. Az eredmény egy felfelé torzított bejárási kép, és ez pont a fontos kérdésben téveszt meg: azt hiszed, a bot járt az oldalon, holott nem.

Az azonnali újrabejárás várása

Egy módosítás után a bot akkor látja a változást, ha visszatér. Ennek az ütemét te csak közvetve befolyásolod. Egyetlen fontos oldalnál kérhetsz soron kívüli ellenőrzést, tömeges frissítésnél viszont türelem kell.

Mérés

A Googlebot viselkedéséről két forrás ad adatot, és a kettő nem ugyanazt mondja.

Kiszolgáló-napló

Ez a te saját adatod, és a legrészletesebb. Megmutatja, mikor, melyik címet, milyen válaszkóddal kérte le a bot. Amit érdemes kinyerni belőle:

Mely oldalakat kéri a bot a leggyakrabban, és ezek fontosak-e egyáltalán.
Mely fontos oldalakat nem kéri le hetek óta.
Milyen arányban kap hibakódot vagy átirányítást.
Hogyan oszlik meg a forgalom a mobil és az asztali változat között.

Keresőkonzol bejárási adatai

A Search Console külön jelentést ad a bejárásról: mennyi kérést intézett a Google az oldaladhoz, milyen válaszidővel, és milyen válaszkódokkal. Emellett egyedi címeknél megnézheted, mikor járt ott utoljára a bot, és mit látott.

Döntési szabály

Ha egy fontos oldal nem hoz forgalmat, ebben a sorrendben mérj:

Szerepel a naplóban bot-lekérésként az elmúlt hetekben? Ha nem, bejárási probléma van: belső link vagy robots fájl.
Ha szerepel, milyen választ kapott? Hibakód vagy átirányítás esetén az a teendő, nem a szöveg.
Ha rendben letöltötte, bekerült az indexbe? Ha nem, indexelési kérdés: duplikáció, tartalom mennyisége, jelzések.

A három lépés három különböző munkát ad, és a sorrend nem cserélhető fel. A leggyakoribb időpocsékolás az, hogy valaki a szöveget írja újra egy olyan oldalon, amit a bot soha nem kért le.

Ellenőrzőlista negyedévente

A robots fájl nem tilt olyat, amit indexelni akarsz.
Az oldaltérkép csak létező, indexelhető címeket tartalmaz.
A napló szerint a bot eléri a fontos oldalaidat.
A hibás válaszkódok aránya nem nőtt meg.
Nincs olyan oldaltípus, ami feleslegesen viszi el a bejárási keretet.

A Googlebot változatai

A naplóban nem egyetlen azonosítót fogsz látni. A Google több célra külön bejárót használ, és érdemes tudni, melyik mit csinál, mert a robots fájlban külön-külön is szabályozhatók.

Mobil és asztali változat. A kettő közül ma a mobil az elsődleges. Ha az oldalad mobilon kevesebbet mutat, mint asztalon, akkor a Google a kevesebbet látja.
Kép- és videóbejárók. A médiaanyagok külön bejáróval kerülnek be. Ha a képeidet blokkolod a robots fájlban, a képtalálatokból is kiesel.
Hír- és egyéb célbejárók. Bizonyos felületekhez külön bejáró tartozik.
AI-célú bejáró. A Google külön azonosítót ad annak a felhasználásnak, ami a generatív funkciókhoz kötődik, és ez a robots fájlban külön engedélyezhető vagy tiltható, anélkül, hogy a klasszikus keresőbeli jelenléted sérülne.

A gyakorlati tanulság: a robots fájlban ne írj mindenre vonatkozó tiltást csak azért, mert egy konkrét bejáró viselkedése zavar. Nevezd meg azt az egyet, és a többit hagyd békén.

Egy valódi eset: a bot nem jár a blogban

Vegyünk egy gyakori helyzetet. Egy cég blogot indít, hetente kirak egy cikket, és három hónap után egyetlen cikk sem hoz forgalmat. A tulajdonos szerint a szövegek gyengék. Ez lehet igaz, de előbb mérni kell.

Napló. Kiszűröd a bot-lekéréseket az elmúlt hatvan napra, és megnézed, hány blogcím szerepel köztük. Ha egy sem, akkor nem a szöveg a baj.
Belső linkek. Megnézed, honnan lehet eljutni a cikkekhez. Gyakori, hogy a blog csak a láblécből érhető el, a cikklista pedig csak JavaScripttel töltődik be, tehát a kiszolgált HTML-ben nincsenek benne a linkek.
Oldaltérkép. Megnézed, benne vannak-e a cikkek. Sok rendszernél a blog külön oldaltérképbe kerül, amit senki nem jelentett be.
Javítás. Statikus cikklista a kiszolgált HTML-ben, link a főnavigációból, és az oldaltérkép bejelentése.
Újramérés. Két-három hét múlva a naplóban már látszania kell a bot-lekéréseknek. Ha látszik, és a cikkek indexbe is kerülnek, onnantól van értelme a szöveg minőségéről beszélni.

Ebben a példában a szöveg minősége csak az ötödik lépésben kerül szóba. Ez a sorrend a lényeg: a tartalmi vita addig értelmetlen, amíg a technikai hozzáférés nincs rendben.

Mennyi idő, mire visszatér

Erre nincs fix szám, és aki mond egyet, az becsül. Ami megfigyelhető: a gyakran frissülő, sokat hivatkozott oldalakhoz a bot sűrűbben tér vissza, a ritkán változó, mély aloldalakhoz ritkábban. Ha egy oldalt hónapok óta nem kért le, az nem büntetés, hanem a fontossági becslés következménye. A helyes válasz nem a türelmetlenség, hanem az, hogy több út vezessen oda: belső link egy gyakran bejárt oldalról, említés az oldaltérképben, és valódi ok arra, hogy a tartalom változzon.

Van egy olcsó ellenpróba is arra, hogy tényleg hozzáférési gondról van-e szó: nyisd meg az oldalt kikapcsolt JavaScripttel. Amit így látsz, azt a bot is biztosan látja. Ami eltűnik, az a megjelenítési lépésre vár, és ott több dolog tud elromlani, mint a nyers letöltésnél.

Amit nem tudsz befolyásolni

Érdemes kimondani a határokat is, mert ezekkel a legtöbb energiát lehet elpazarolni. Nem tudod megmondani a botnak, hogy pontosan mikor jöjjön vissza. Nem tudod kikényszeríteni egy oldal indexelését. És nem tudod megvásárolni a gyakoribb bejárást. Amit befolyásolsz: a hozzáférhetőséget, a szerkezetet, a kiszolgáló válaszidejét és azt, hogy mennyi felesleges címet kínálsz fel. Ez a négy együtt bőven elég a legtöbb helyzethez.

Kapcsolódó részletes útmutatók

A keresőmotorok útmutatója a teljes négy szakaszt mutatja be a bejárástól a rangsorolásig, tehát ott látod, hova illeszkedik a Googlebot munkája. Az organikus keresés útmutatója onnan folytatja, hogy az oldalad már indexben van. A SEO alapok pedig megmondja, milyen sorrendben érdemes dolgozni, hogy ne a hatodik lépéssel kezdd.

Ha egyetlen dolgot viszel el innen, ez legyen: a bot látogatása nem feltételezés kérdése. Vagy szerepel a naplóban, vagy nem, és ez pár perc alatt eldönthető. Ez a pár perc a legtöbbször megspórol egy hetekig tartó, rossz irányú munkát.