Google Webmaster Tools VIII. - Procházení

Co je to robot? Jak s ním spolupracovat a přispět tím například k lepšímu fungování webových stránek či jejich hodnocení vyhledávačem? Podívejte se v nástroji Google Webmaster Tools do sekce Procházení.. V následujících dvou dílech našeho seriálu o Google Webmaster Tools se seznámíme jednak s chybami, které mohou nastat při procházení stránek robotem a naučíme se vytvořit soubor robots.txt.

Chyby procházení

Tato část obsahuje informace o adresách URL, které Google nedokázal úspěšně procházet nebo které vrátily kód chyby HTTP. Stránka je rozdělena na dvě hlavní sekce:

a) Chyby na stránkách
Sem patří situace, kdy Googlebot nemohl komunikovat se serverem DNS, nebo že váš server nemá pro web žádný záznam (Chyby DNS). Dále chyby serveru poskytovatele hostingu jako jsou rychlost připojení a spolehlivost (Chyby serveru) a v neposlední řadě může dojít k chybě při Načtení souboru robots.txt. V posledním případě se doporučuje zkontrolovat, zda Googlebot například není blokován poskytovatelem hostingu.

b) Chyby v adresách URL

- Chyba serveru

Pokud se objeví chyby v této sekci, znamená to, že se Googlebotu nepodařilo získat přístup k adrese URL – musel od požadavku upustit, jelikož buďto vypršel časový limit požadavku nebo byl web zaneprázdněn.

- Přístup byl odepřen

Proč mohl být Googlebotu odepřen přístup na vaše stránky? Tato situace může nastat, pokud k zobrazení části nebo celého obsahu vašeho webu je požadováno přihlášení, pokud Googlebotu blokujete přístup k určitým URL pomocí souboru robots.txt, váš server vyžaduje prokázání uživatelů prostřednictvím serveru proxy nebo Googlebota blokuje váš poskytovatel hostingu. Stránka vám vrací stavový kód 403 (Forbidden).

Nastane-li tato situace, vyzkoušejte svůj soubor robots.txt tím, že v sekci Nástroj na testování souborů robots.txt otestujete, zda funguje, jak má a neblokuje Googlebota. V nástroji Načíst jako Google pak zjistíte jak se web Googlebotu zobrazí (tuto funkci využijete při odstraňování problémů s obsahem stránek nebo jejich viditelností ve výsledcích vyhledávání).

- Nenalezeno

Zde jsou hlášeny chyby, kdy se Googlebot pokusí navštívit stránku, ale ta byla buďto smazána, přejmenována bez přesměrování, nebo se v odkazu nachází překlep. Jinými slovy stránka neexistuje. Takováto chyba je značena jako 404 a naštěstí nemá vliv na to, jak jsou vaše stránky hodnoceny v indexu Google. Crawler se obvykle ještě nejméně jednou pokusí na stránku dostat, a poté, co opakovaně neuspěje, vyřadí ji ze svého indexu. Pokud přecházíte ze staré URL na novou, použijte tedy přesměrování pomocí stavového kódu 303 či 301 apod. Pokud adresu URL trvale odstraňujete, nastavte starou adresu URL tak, aby vracela stavový kód 404 (Nenalezeno) nebo 410 (Odstraněno). Google s oběma těmito kódy zachází stejně.

Statistiky procházení

Stránka Statistiky procházení (screen 1) obsahuje informace o činnosti Googlebota na vašem webu během posledních 90 dní. Nabízí nám přehled počtu zobrazených stránek a stažených kilobajtů za den a také čas stažení stránky (v ms). Zejména poslední jmenovaná metrika by měla vykazovat buďto stále podobná čísla, v ideálním případě by křivka grafu mohla zaznamenat pokles. V případě prodlužování doby stažení stránky je něco v nepořádku a je potřeba zkontrolovat možné chyby.

SCREEN 1

Načíst jako Google

V případě ladění nebo podezření na potíže s připojením k síti či zabezpečením webu můžete v této části Google Webmaster Tools spustit malou simulaci, která vám umožní zjistit případné nedostatky v načítání všech adres URL odpovídajících vyžádané cestě. Například, pošle-li Vám Google zprávu o tom, že se nepodařilo vaše stránky načíst (padl server apod.), učiníte potřebná opatření a v této sekci si poté ověříte, zda je již vše v pořádku. Můžete zvolit možnost Načtení (rychlá kontrola cesty procházením všech příslušných URL) nebo Načtení a vykreslení (v tomto případě Google projde stránku a zobrazí ji tak, jak by ji prohlížeče zobrazily publiku). Chcete-li vidět jak se stránka zobrazuje ve vyhledávači, stačí vložit danou URL do okna (screen 2) a poté vybrat variantu Načíst a vykreslit. Pak už jen rozklikněte řádku s výsledkem (modrá URL) a zobrazí se Vám obrázek Vaší stránky jak ji Google vidí včetně adres, kam se nedostal (screen 3).

SCREEN 2                                                                                 SCREEN 3

Pokud přepnete na kartu Načítání (screen 4), dostanete odpověď serveru pomocí protokolu HTTP ve formě textového souboru. Tento soubor může obsahovat různá data – kód HTML, JavaScript, CSS apod. Kartu Načítání lze využít k odstranění různých problémů – například s přesměrováním aj. - na kartě Načítání si přečtete, co přesně váš server Googlu na žádost o procházení stránky odpověděl. Pokud víte, co hledáte, můžete kód HTTP analyzovat.

SCREEN 4