Meta robots: teljes útmutató

A meta robots egy HTML-címke a lap fejlécében, amellyel megmondhatod a keresőnek, hogy az adott lapot felveheti-e az indexbe, követheti-e a rajta lévő linkeket, és milyen részletet mutathat belőle a találati listán. Lapszintű indexelési jelzés: csak akkor hat, ha a robot lekérheti a lapot, és a jelzést ténylegesen a HTML-ben találja.

Alapfogalmak

A meta robots címke a lap <head> részében áll, és két tulajdonsága van: a name azt mondja meg, melyik robotnak szól, a content pedig azt, mit kérsz tőle. A leggyakoribb formája a robots név, amely minden robotnak szól. Ha egy konkrét keresőnek akarsz eltérő utasítást adni, a nevében az ő robotját adod meg, például googlebot.

<meta name="robots" content="noindex, follow">
<meta name="googlebot" content="nosnippet">

Ha a lapon nincs meta robots címke, a kereső az alapértelmezés szerint jár el: indexelheti a lapot és követheti a linkjeit. Ezért az index, follow kiírása felesleges, nem árt, de nem is tesz hozzá semmit. A címkének akkor van jelentősége, ha valamit korlátozni akarsz.

A legfontosabb direktívák

Direktíva	Hatás	Tipikus felhasználás
noindex	A lap ne kerüljön a találati listára	Köszönőlapok, belső keresés, vékony listázó lapok
nofollow	A kereső ne kövesse a lap linkjeit	Ritkán indokolt, például nem ellenőrzött, felhasználói tartalmú lapok
none	A noindex és a nofollow együtt	Ritkán indokolt
nosnippet	Ne jelenjen meg szöveges részlet a találatnál	Ha a részlet félrevezető vagy nem kívánt
max-snippet	A szöveges részlet legnagyobb hossza karakterben	A részlet hosszának korlátozása
max-image-preview	A képelőnézet mérete (none, standard, large)	Nagy képelőnézet engedélyezése vagy tiltása
noimageindex	A lapon lévő képek ne kerüljenek indexbe e lap alapján	Ritkán indokolt
unavailable_after	Egy megadott időpont után a lap ne jelenjen meg	Lejáró ajánlatok, időhöz kötött események

Indexelés, feltérképezés, linkkövetés

A meta robots az indexelést szabályozza, nem a feltérképezést. A robot lekéri a lapot, elolvassa a címkét, és ennek alapján dönt. Ezért a meta robots csak akkor hat, ha a lap a robots.txt szerint lekérhető. Ha a robots.txt tiltja a lapot, a robot soha nem látja a noindexet, és a lap a linkek alapján az indexben maradhat.

A nofollow a lap összes linkjére vonatkozik. Ez különbözik a linkeken egyenként elhelyezhető rel="nofollow" attribútumtól, amely csak az adott linkre hat. A lapszintű nofollowra ritkán van szükség, mert a belső linkek követése általában éppen az, amit szeretnél.

Kapcsolat a többi eszközzel

X-Robots-Tag: ugyanezek a direktívák HTTP-fejlécben. Nem HTML fájlokra (PDF, kép) csak ez működik. Részletek az X-Robots-Tag útmutatóban.
Canonical: a változatok közti választást javasolja, nem zár ki. A noindex kizár. A kettő mást jelent, és nem helyettesíti egymást.
Robots.txt: a feltérképezést tiltja. Együtt a noindexszel ugyanarra az URL-re ellentmondás.

Hogyan működik?

A robot lekéri a lapot, feldolgozza a HTML-t, és a fejlécben megkeresi a robots vagy a rá vonatkozó nevű meta címkét. A talált direktívákat összegyűjti, és ennek alapján dönt az indexelésről, a linkek követéséről és a találat megjelenítéséről. A döntés nem azonnali: egy frissen elhelyezett noindex akkor hat, amikor a robot legközelebb lekéri a lapot. Egy ritkán látogatott lapnál ez hosszabb idő is lehet.

Több címke, ütköző direktívák

Egy lapon több meta robots címke is lehet, és a robotok ezeket együtt veszik figyelembe. Ha a jelzések ütköznek, például az egyik címke index, a másik noindex, a Google a korlátozóbb direktívát követi. Ugyanez igaz, ha a HTML-ben és az X-Robots-Tag fejlécben eltérő utasítás áll. A gyakorlatban ez azt jelenti, hogy egy bővítmény vagy sablon által elhelyezett noindex akkor is hat, ha egy másik címke index-et mond.

Általános és robotspecifikus címke

A robots nevű címke minden robotnak szól, a googlebot nevű csak a Google robotjának. Ha mindkettő szerepel, a Google a kettő direktíváit együtt értelmezi. Robotspecifikus címkére akkor van szükség, ha egy keresőt szándékosan másként akarsz kezelni, ami ritka. Az egyszerűség kedvéért a legtöbb webhelynek elég az általános címke.

JavaScript és a meta robots

Ha a címkét JavaScript helyezi el vagy módosítja, a kereső csak a lap megjelenítése után látja a végleges állapotot. Ez kockázatos. A Google jelezte, hogy ha az eredeti HTML-ben noindex áll, a lap megjelenítését és a JavaScript futtatását kihagyhatja, így ha a JavaScript utólag venné le a noindexet, az nem biztos, hogy hat. A biztonságos megoldás az, hogy az indexelési jelzés már a szerver által küldött HTML-ben a végleges formájában szerepeljen.

A találat megjelenésének szabályozása

A direktívák egy része nem az indexelésről szól, hanem arról, mit mutasson a kereső a találatnál. A nosnippet letiltja a szöveges részletet, a max-snippet korlátozza a hosszát, a max-image-preview a képelőnézet méretét. Ezekkel óvatosan kell bánni: egy túl szigorú korlátozás kevésbé vonzó találatot eredményezhet, és csökkentheti a kattintásokat. Ha csak egy lapon belüli szövegrészt akarsz kizárni a részletből, arra a data-nosnippet HTML-attribútum való, amelyet egy elemre tehetsz.

A címke helye a kódban

A meta robots címkének a lap fejlécében, a <head> részben kell állnia. A gyakorlatban előfordul, hogy egy hibás vagy oda nem illő elem (például egy rosszul beillesztett követőkód) a fejlécben idő előtt lezárja azt a böngésző és a kereső értelmezése szerint, és az utána következő meta címkék már a törzsbe kerülnek. Ilyenkor a kereső a címkét figyelmen kívül hagyhatja. Ezért érdemes a robots címkét a fejléc elejére, a követőkódok és egyéb beillesztések elé tenni.

Fő módszerek

A meta robots használata döntések sorozata. A kérdés mindig az, hogy egy lap vagy laptípus szolgál-e keresési szándékot. Ha igen, indexelhető kell legyen. Ha nem, a noindex a legtisztább megoldás, feltéve, hogy a robot lekérheti a lapot.

1. Laptípusok leltára

Gyűjtsd össze a webhely laptípusait: tartalmi lapok, kategóriák, termékek, címkelapok, szerzői lapok, archívumok, belső keresés, szűrt listák, köszönőlapok, fiók és kosár. Minden típusnál döntsd el, szolgál-e valódi keresési szándékot. A döntést típusonként hozd meg, ne lapról lapra, mert a sablonszintű szabály könnyebben karbantartható.

2. Noindex a nem keresésre szánt lapokra

Tipikus noindex-jelöltek: a belső keresés találati oldalai, a vásárlás vagy regisztráció utáni köszönőlapok, a nagyon kevés tartalmat mutató címke- és archívumlapok, a tesztelés alatt álló lapok. Ezek nem ártanak a webhelynek, de a találati listán sincs keresnivalójuk. A noindex mellé a follow általában jó választás, mert a lapon lévő linkek így továbbra is segítik a robotot a többi lap megtalálásában.

3. Sablonszintű beállítás

A legtöbb tartalomkezelő rendszerben és SEO bővítményben laptípusonként állítható a noindex. Ez biztonságosabb, mint a lapokon egyenként. Ugyanakkor a sablonszintű beállítás veszélye, hogy egyetlen hiba sok lapot érint. Minden sablonváltozás után ellenőrizd, hogy a fontos laptípusokon nem jelent-e meg noindex.

4. Megjelenítési direktívák mérlegelése

A snippet- és előnézet-direktívákat csak indokolt esetben használd. A legtöbb lapnak az előnyös, ha a kereső szabadon választhat részletet és nagy képelőnézetet mutathat. Ha egy lapon a részlet rendszeresen félrevezető, előbb érdemes a lap szövegét javítani, és csak végső esetben a részletet tiltani.

5. Időhöz kötött lapok kezelése

Ha egy lap tartalma egy adott időpont után érvényét veszti (egy lejáró akció, egy lezajlott esemény), az unavailable_after direktívával előre megadhatod, mikortól ne jelenjen meg a találati listán. Ez akkor hasznos, ha a lapot meg akarod tartani a webhelyen, például archívumként, de keresésből már nem szeretnéd, hogy érkezzenek rá. Ha a lap tartalma teljesen megszűnik, és van releváns utódja, a 301-es átirányítás jobb választás, mert az a lap jelzéseit is továbbviszi.

Döntési szabály

Van rá keresés, és a lap jó választ ad: nincs címke (vagy index, follow).
Nincs rá keresési szándék, de a linkjei fontosak: noindex, follow.
A lap egy másik lap változata: canonical, nem noindex.
A lap megszűnt: 404, 410 vagy 301, nem noindex.
A lapot semmilyen formában nem szabad elérni: hozzáférés-védelem.

Kidolgozott példa: egy blog címkelapjai

Egy blogon a szerzők minden cikkhez sok címkét rendeltek, így több száz címkelap keletkezett, a legtöbb egy vagy két cikkel. Ezek a lapok a cikkek kivonatát mutatták, saját szöveg nélkül. A Search Console-ban sok címkelap feltérképezett, de nem indexelt állapotban állt, a többi pedig alig kapott megjelenést.

A döntés két részből állt. A néhány valóban tartalmas címkét, amelyekhez sok cikk tartozott, és amelyekre valódi keresés érkezett, saját bevezető szöveggel láttak el, és indexelhetőnek hagyták. A többi címkelapra sablonszinten noindex, follow került, így a lapok továbbra is linkeltek a cikkekre, de nem versenyeztek velük a találati listán. A robots.txt-ben nem tiltották le őket, mert akkor a noindex nem hatott volna.

Gyakori hibák

A meta robots hibái két irányba mennek: vagy olyan lapon van noindex, ahol nem kellene, vagy olyan eszközzel akarnak indexelést szabályozni, amely erre nem alkalmas. Az első a súlyosabb, mert forgalmat veszít, a második a gyakoribb, mert lassan és észrevétlenül rontja a webhely állapotát.

Élesben maradt noindex

A fejlesztés alatt sok rendszerben be van kapcsolva a keresők kizárása, amely minden lapra noindexet tesz. Ha ez az élesítéskor bekapcsolva marad, a teljes webhely kiesik az indexből. Ez az egyik leggyakoribb súlyos hiba. Az élesítés ellenőrzőlistáján szerepelnie kell.

Noindex és robots.txt tiltás együtt

A robot nem kéri le a tiltott lapot, így nem látja a noindexet. A lap az indexben maradhat, tartalom nélkül. Ha egy lapot ki akarsz venni az indexből, a noindexnek láthatónak kell lennie.

Noindex és canonical együtt

Ha egy lapon noindex áll, és a canonical egy másik lapra mutat, a két jelzés ellentmond egymásnak. A canonical azt mondja, hogy a jelzéseket a másik lapra kell átvinni, a noindex azt, hogy ez a lap ne legyen az indexben. A Google azt javasolja, hogy a kettőt ne keverd. Válassz egyet: ha változatról van szó, canonical, ha keresésre nem szánt lapról, noindex.

Noindex a lapozott listákon

A kategórialisták második és további oldalaira sokan noindexet tesznek. Ez nem feltétlenül hiba, de ha a mélyebb oldalakon lévő termékekre vagy cikkekre máshonnan nem vezet link, a robot nehezebben találja meg őket. A lapozás kezeléséről a pagination útmutató szól.

Noindex a megszűnt lapokon

Ha egy termék vagy szolgáltatás végleg megszűnt, a lap noindexszel való megtartása félmegoldás. A lap tovább él, a robot továbbra is lekéri, a látogató pedig egy érvénytelen ajánlatra érkezhet. Ha van releváns utód, a 301-es átirányítás a helyes, ha nincs, a 404-es vagy 410-es válasz. A noindex azoknak a lapoknak való, amelyeknek van értelmük a látogató számára, csak keresésből nem.

Lapszintű nofollow a teljes webhelyen

Egyes sablonok vagy beállítások minden lapra nofollow direktívát tesznek. Ez megnehezíti, hogy a kereső a belső linkek alapján megtalálja és értelmezze a webhely szerkezetét. Ha a nofollow nem szándékos, egy feltérképező programmal gyorsan kiszűrhető, és a sablonban javítható.

Tévhit: a noindex azonnal kivesz a találati listából

A noindex csak akkor hat, amikor a robot legközelebb lekéri a lapot. Ha sürgős egy lap eltávolítása, a Search Console eltávolítási eszköze átmenetileg elrejti a találatot, de a tartós megoldás továbbra is a noindex vagy a lap megszüntetése.

Mérés

A meta robots ellenőrzése azt jelenti, hogy megnézed, mi van a lap kódjában, és azt is, hogy a kereső mit látott. A kettő eltérhet: a böngészőben JavaScript után látott kód nem feltétlenül azonos azzal, amit a szerver küldött, és a kereső egy korábbi állapotot is láthatott.

Közzététel előtti ellenőrzés

Nézd meg a lap forráskódját (nem a böngésző fejlesztői nézetét, hanem a szerver által küldött HTML-t), és keresd meg a robots meta címkéket.
Ellenőrizd, hogy a fontos laptípusokon nincs noindex, és hogy a noindex-szel jelölt lapok a robots.txt szerint lekérhetők.
Nézd meg a HTTP-fejlécet is, nincs-e benne X-Robots-Tag, amely ellentmond a HTML-nek.
Egy feltérképező programmal futtasd végig a webhelyet, és szűrd ki az összes noindex lapot. Nézd át a listát: minden tétel szándékos?

Közzététel utáni mérés

A Google Search Console indexelési jelentésében külön kategória mutatja a noindex miatt kizárt lapokat. Ezt a listát rendszeresen érdemes átnézni, mert itt derül ki leghamarabb, ha egy fontos lap véletlenül noindexet kapott. Az URL-vizsgálat eszköz egy konkrét lapról megmutatja, hogy a Google engedélyezettnek látja-e az indexelést, és ha nem, miért.

Második kidolgozott példa: bővítményfrissítés után

Egy webhelyen egy SEO bővítmény frissítése után a termékkategóriák beállítása alapértelmezettre állt vissza, és az alapértelmezés a noindex volt. A hibát a Search Console noindex-kategóriájának hirtelen növekedése jelezte. A vizsgálat a kategórialapok forráskódjában megtalálta a címkét, a bővítmény beállításaiban pedig az okot. A javítás után a legfontosabb kategóriák újrafeltérképezését kérték az URL-vizsgálat eszközzel. A tanulság: frissítés után a fontos laptípusok indexelési jelzését mindig nézd meg.

Ellenőrzőlista

A fontos lapokon nincs noindex, sem HTML-ben, sem HTTP-fejlécben.
Minden noindex szándékos, és laptípus szintjén van beállítva.
A noindex lapok a robots.txt szerint lekérhetők.
Nincs olyan lap, amelyen noindex és máshová mutató canonical is áll.
Az indexelési jelzés a szerver által küldött HTML-ben szerepel, nem csak JavaScripttel.
A megjelenítési direktívák csak indokolt esetben vannak használva.
Élesítés és bővítményfrissítés után ellenőrzés történik.

Kapcsolódó részletes útmutatók

A meta robots az indexelés szabályozásának egyik eszköze. A robots.txt a feltérképezést szabályozza, az X-Robots-Tag ugyanazokat a direktívákat HTTP-fejlécben adja meg, a canonical a változatok közti választást segíti. A technikai SEO egészéről az összefoglaló lap ad áttekintést.