Pochopení rozpočtu procházení je často přehlíženo jako nepříliš zajímavá součást SEO. Avšak přede dvěma roky náš tým publikoval ohledně tohoto tématu příspěvek, který je ale již dávno „za zenitem“, nebo tedy patří už do pradávné historie v SEO průmyslu. Takže, v tomto novém článku, si vysvětlíme, jak se vlastně změnilo naše chápání rozpočtu procházení v minulých několika letech, co zůstalo při starém a co to všechno znamená pro vaše snahy o optimalizaci rozpočtu procházení.
Co je vlastně rozpočet procházení a proč na něm tolik záleží?
Počítačové programy, navržené ke sbírání informací z webových stránek, se nazývají internetoví pavouci, procházeči nebo také boti. Tihle mohou být jak špatní (například hackerské programy a pavouci) nebo mohou být velice užiteční (procházeči internetových prohlížečů nebo internetových služeb). Například backlinkový index naší společnosti je vybudován za pomoci pavouka zvaného BLEXBot, který prochází až sedm a půl miliardy stránek denně, kde sbírá data o backlincích.
Když se bavíme o rozpočtu procházení, vlastně mluvíme o frekvenci, se kterou pavouci internetových vyhledávačů procházejí vaše webové stránky. Alespoň podle společnosti Google, rozpočet procházení je kombinací vašeho limitu poměru procházení (tedy limitu, které zajišťují, že boti jako GoogleBot nebudou procházet vaše stránky příliš často, což může poškodit váš server) a vaší poptávky po procházení (tedy jak moc chcete, aby Google procházel vaše stránky).
Optimalizace vašeho rozpočtu procházení znamená navyšování toho, jak často pavouci mohou navštívit každou stránku, sbírat informace a posílat tato data ostatním algoritmům, které se zabývají indexací a vyhodnocováním kvality obsahu. Jednoduše řečeno, čím lepší je váš rozpočet procházení, tím rychleji se vaše informace aktualizuje a dostane se do indexu internetového vyhledávače, když náhodou něco na webové stránce pozměníte.
Avšak nebojte se. Pokud nevlastníte a nespravujete obrovské webové stránky (které mají miliony biliónů URL adres), tak poté se nikdy nebudete asi muset o rozpočet procházení starat.
Takže proč se vlastně něčím takovým jako je optimalizace rozpočtu procházení zabývat? Protože i když „nepotřebujete“ zlepšit váš rozpočet procházení, tyto tipy zahrnují také spoustu dobrých praktik, které mohou zlepšit celkové zdraví vaší webové stránky.
A, jak již vysvětlil ve stejném vlákně také John Mueller ze společnosti Google, potencionální výhody tenčí webové stránky zahrnují zejména vyšší převody, dokonce i když není garantováno, že ovlivní hodnocení stránky na stránce s výsledky vyhledávání.
Co zůstalo při starém?
Během Google Webmaster Hangout 14. prosince 2018 bylo položeno Johnovi hned několik otázek, které se týkaly toho, jestli by například správce webu mohl určit jejich rozpočet procházení. John vysvětluje, že je velice těžké srazit dolů rozpočet procházení nebo jej alespoň nějak zafixovat, protože to není žádná externí metrika.
Také uvedl:
„Rozpočet procházení je něco, co tak trochu mění postupem času. Naše algoritmy jsou velice dynamické a snaží se reagovat rychle na některé změny, které činíte na vaší webové stránce …není to něco, co by bylo přiděleno jenom jednou pro webovou stránku.“
Ilustruje to s následujícími příklady:
- Mohli byste zredukovat rozpočet procházení, pokud byste udělali něco nesprávně, jako například špatně nastavili CMS. Google|Bot si může všimnout, jak pomalé jsou vaše webové stránky a zpomalí tak procházení v rámci jednoho či dvou dnů.
- Mohli byste také navýšit rozpočet procházení, pokud byste zlepšili vaší webovou stránku (tím, že byste se přesunuli na CDN nebo byste nabízeli obsah daleko rychleji). Googlebot by si toho všiml a vaše poptávka po procházení by vzrostla.
Tohle je v souladu s tím, co víme o rozpočtu procházení už několik let. Spousta nejlepších praktik pro optimalizaci rozpočtu procházení je také stejně aplikovatelná i dnes:
- Neblokujte důležité stránky
Musíte se ujistit, že všechny z vašich důležitých a podstatných stránek jsou prošlé nebo alespoň je možné je projít. Obsah vám neposkytne žádnou hodnotu, pokud vaše .htaccess a robots.txt omezují schopnost vyhledávacího bota projít esenciální stránky.
Naproti tomu můžete použít skript pro nasměrování vyhledávacích botů někam jinam od nedůležitých stránek. Jenom si ale poznamenejte, že GoogleBot může předpokládat, že jste udělali chybu, i když jste se odtrhli od spoustu obsahu nebo pokud omezená stránka dostane spoustu příchozích odkazů, tak stále může být procházena.
Následující meta tag v sekci záhlaví vaší stránky by měl být dostatečnou prevencí pro většinu botů internetových vyhledávačů před indexací stránky na vaší webové stránce:
Můžete také také zablokovat specificky Google z procházení vaší stránky s náledujícím meta tagem:
Alternativně se můžete vrátit k „noindex“ tagu v záhlaví, který jasně říká pavoukům, aby neindexovali vaši stránku: X-Robots-Tag: noindex
- Držte se HTML, kdykoliv je to možné
Googlebot se stal daleko lepším v procházení bohatých souborů medií jako je JavaScript, Flash, XML, avšak ostatní boti internetových vyhledávačů se stále mohou trošku potácet s těmito soubory. Doporučujeme proto vyhnout se těmto souborům ve prospěch prostého HTML kdykoliv je to možné. Možná byste také chtěli poskytnout botům internetových vyhledávačů s textovou verzí stránek, které se spoléhají z valné většiny na soubory bohatých médií.
- Opravte dlouhé řetězce redirektů
Každá URL adresa s redirektem o něco málo zatěžuje váš rozpočet procházení. A co hůř, boti internetových vyhledávačů mohou přestat následovat redirekty, pokud narazí na až nerozumný počet 301 a 302 redirektů za sebou. Zkuste limitovat počet redirektů, které máte na vaší internetové stránce a používejte je méně než dvakrát v řadě.
4. řekněte Googlebotovi o parametrech URL adresy
Pokud vaše CMS generuje příliš dynamických URL adres (jako to dělá většina těch nejpopulárnějších), tak poté byste mohli zbytečně plýtvat váš rozpočet procházení – a možná dokonce zbytečně upozorňujete na duplicitní obsah. Abyste informovali Googlebota o parametrech URL adresy, kterou má vaše webová stránka či CMS a které neovlivňují obsah vaší stránky, všechno, co musíte udělat, je přidat parametry do vaší Google Search Console (jděte do sekce Crawl (procházení) – URL parametry)
5. vyřešte http chyby
John opravil nejčastější mýty někdy v pozdním roce 2017, vysvětlil, že 404 a 410 stránky ve skutečnosti čerpají z vašeho rozpočtu procházení. A protože nechcete plýtvat rozpočet procházení na úplně zbytečné či chybné stránky – nebo nechcete mást uživatele, kteří se snaží navštívit vaše webové stránky – je ve vašem nejlepším zájmu, abyste vyhledali http chyby a opravili je co možná nejdříve.
6. Udržujte vaši sitemapu aktualizovanou
Čistá XML sitemapa pomůže uživatelům a botům pochopit, kde vlastně interní odkazy vedou a jak je vaše webová stránka vlastně strukturovaná. Vaše sitemapa by měla pouze zahrnovat kanonické URL adresy (sitemapa je kanonickým signálem, pokud bereme v potaz Google) a měla by být konzistentní s vaším robots.txt souborem. (určitě neříkejte pavoukům, aby procházejí stránku, kterou jste pro ně již blokovali).
7. používejte rel=“canonical“, abyste se vyhnuli duplicitnímu obsahu
Když se bavíme o kanonikalizaci, určitě byste měli použít rel=“canonical“, který řekne botům, které URL adresy jsou hlavní verzí stránky. Avšak je ve vašem nejlepším zájmu, abyste zajistili, že všechen obsah napříč různými verzemi vaší stránky, je pořádně seřazen – jenom pro případ. OD té doby, co Google představil předně mobilní indexování někdy v roce 2016, často dávají jako výchozí kanonickou verzi právě tu, která je mobilní.
8. používejte hreflang tagy, abyste indikovali zemi / jazyk
Botové používají hreflang tagy, aby pochopili lokalizované verze vašich stránek, což zahrnuje jednat jazykově – i regionálně – specifický obsah. Můžete použít buďto HTML tagy nebo http titulky, nebo vaše sitemapa může indikovat lokalizované stránky přímo Googlu. Uděláte to následovně:
Přidáte následující element odkazu do vašeho titulku stránky:
Nyní můžete vrátit http titulek, který sděluje Google o jazykových variantách vaší webové stránky (můžete také použít tento pro ne-HTML soubory jako jsou PDF soubory) tím, že specifikujete podporovaný kód jazyku či země. Formát vašeho titulku by tedy měl vypadat zhruba takto: Link:
Můžete také přidat
Co se vlastně změnilo?
Změnily se hlavně dvě podstatné věci od té doby, co jsme naposledy před dvěma lety napsali článek o rozpočtu procházení.
Zaprvé, již nadále nedoporučujeme RSS feedy. RSS mělo menší návrat někdy během Cambridge Analytica skandálu, neboť spousta uživatelů uskakovala pryč z cesty algoritmům sociálních sítí – avšak již to není široce užíváno (možná kromě zpravodajských reportérů) a určitě jej nečeká nějaký podstatný návrat.
Zadruhé, součástí původního článku je také experiment, do kterého jsme se pustili a který tak trochu napovídal tomu, že je tu silná korelace mezi externími odkazy a rozpočtem procházení. Vypadalo to, že pokud se budete starat a zvyšovat svůj profil odkazů, ohromně by vám to pomohlo s růstem rozpočtu procházení vaší stránky.
Předtím zmíněný Google Webmaster Hangout vypadal, že podporuje tento nález experimentu: John dokonce zmiňuje, že rozpočet procházení stránky je „založen docela dost na poptávce z naší stránky“.
Avšak když jsme zkusili aktualizovat studii na naší stránce, nemohli jsme znovu dostat stejná čísla jako v původním nálezu. Propojení bylo velice slabé, což napovídá tomu, že Google algoritmus docela dost porostl za ty dva roky a stal se daleko více sofistikovanější než byl v roce 2017.
S tímto řečeno, prosím nečtěte to s myšlenkou „super, nyní můžu přestat budovat odkazy!“
Odkazy zůstávají jedním z nejdůležitějších signálů, které Google a ostatní internetové vyhledávače používají k posuzování relevance a kvality. Takže, i když budování odkazů sice není esenciální pro zlepšení vašeho rozpočtu procházení, mělo by to být prioritou, pokud chcete zlepšovat vaše SEO.
A to je ono! Pokud se chcete dozvědět daleko více o rozpočtu procházení, doporučujeme podívat se na Stephan Spencerovu tří epizodovou Příručku k botům a pavoukům.