SEO a WordPress jsou často probíraná témata nejen v internetových diskuzích. Často se řeší i na konferencích. WordPress považuje i samotných Google za téměř dokonalý. Má vše co by správný web ve vyhledávačích z technického hlediska potřebuje. Ten zbytek je většinou spojený se šablonou, navigací a dalšími prvky na stránkách (na druhou stranu třeba Rich Snippets mohou být pro eshop zásadní). Tak proč se tedy váš web nezobrazuje ve vyhledávačích?
Možná už ve vyhledávání jste
Všichni by chtěli top pozice a ideálně okamžitě. Takto to ale pro většinu klíčových slov nefunguje. Google preferuje zaběhnuté stránky, které dokáží publikovat kvalitní obsah a mají na internetu nějakou váhu (autoritu). Bude vám chvilku trvat než vytvoříte kvalitní obsah, stanete se známou značkou na kterou budou jiné autoritativní weby hrdě odkazovat. Pak už budete okupovat přední pozice na témata o kterých píšete.
Do té doby však se však u velmi konkurenčních slovních spojení možná na první stránku zřejmě nedostanete. Takže procházením jedné stránky za druhou se nemusíte vůbec najít.
Abyste zjistili jak na tom jste můžete zkusit zadat do vyhledávačů site:domena.tld. Tedy za site: vložit vaši doménu. Vyhledávače vám vrátí určitý vzorek stránek, které mají v indexu a zobrazují jejich uživatelům.
V případě, že se nevrátí nic, může to značit problém.
Zakázaná indexace ve WordPress
Když WordPress instalujete zeptá se vás jestli jej chcete schovat před vyhledávači. Tuto volbu najdete také v Nastavení – Zobrazení.
Pokud je zaškrtnutá, tak jsou roboti vyhledávačů upozornění, že nemají obsah indexovat ani procházet. Slušní roboti, včetně těch od Google a Seznamu toto dodržují.
Zkontrolujte si proto zdali náhodou nemáte tuto volbu zaškrtnutou. Jestli ano tak jí odškrtněte.
Zákaz indexace v šabloně a robots.txt
Povely robotům se nejčastěji dávají dvěma způsoby. Prvním je umístění meta značky robotx do HTML kódu stránky. Vyeditujte si zdrojový kód stránky a hledejte:
<meta name="robots" content="noindex">
Noindex znamená, že robot nemá stránku indexovat, tedy uložit si její obsah a pak publikovat ve vyhledání. Opakem je index.
Setkat se můžete i se slovíčkem Nofollow se nachází na stránce, kde majitel doporučuje robotům, aby neprocházeli odkazy na stránce. Tedy je zcela ignorovaly. Dříve to bylo nařízení, dnes už třeba Google toto bere jen jako doporučení. Opakem příkazu je follow.
Tedy pokud máte na stránce noindex znamená to že se neobjeví ve vyhledávaní. Pokud tam je nofollow většinou to má zastavit roboty v dalším procházení webu. Takovéto weby mívaly problém s indexací celého obsahu webu.
Google pozná i meta s name googlebot. Berete to jako zprávu pro svého GoogleBota, robots pak ignoruje.
<meta name="googlebot" content="noindex">
V souboru robots.txt, který se nachází v hlavním adresáři, se dají dávat instrukce robotům přehledněji. Dokonce můžete konkrétnímu robotovi dát specifický úkol. Nás však zajímají příkazy, který omezuje procházení a indexaci určitého obsahu.
Ve WordPress by měl robots.txt vypadat následovně:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Ten říká, že všichni roboti neindexujte obsah adresáře /wp-admin/ ale soubor admin-ajax.php, který se v něm nachází ano. Tento zápis byste v souboru robots.txt měli mít.
Zabanovaná doména
Pokud jste si registrovali doménu, na které už dříve byl obsah je možné že si nese nějaké hříchy z minulosti. Například se na ní nacházel obsah, který hrubě porušoval pravidla vyhledávačů. Vyhledávače jí pak kompletně vyřadily.
Tohle se samozřejmě velmi špatně dá předvídat. Na 100% to nikdo čistě z domény nepozná, ovšem odborníci na domény a SEO to dokáží předvídat. Respektive si dohledat historii domény a říct, jestli se na ní provádělo něco v rozporu pravidly vyhledávačů.
Jestli má doména ban poznáte na sto procent jen tak, že si to zkontrolujete v rozhraní pro webmastery u Google. Po přidání a ověření domény se vám tam za pár dnů objeví varování. N8sledně můžete požádat o nové prověření a banu se zbavit.
Seznam má sice své Nástroje pro webmastery, ovšem těžkou penalizaci nezobrazuje. Mohla by však pomoct zákaznická podpora.
Blokování robotů na serveru
Na váš web chodí denně velké množství robotů, kteří ve většině případů sbírají data anebo provádí nějaké nekalosti. Například hledají bezpečnostní díry anebo tipují hesla. Tito roboti přitom spotřebovávají serverové zdroje, občas dokonce daleko více než běžný uživatel. Proto se jim často blokuje přístup.
Mezi blokovanými však mohou být i ti vyhledávačů. V dnešní době je to velice nepravděpodobné, ale pokud se staráte o server sami a testujete nějakou novou ochranu je dobré o této možnosti vědět.
Jestli k vám robotu chodí anebo ne zjistíte nejlépe z logu přístupů access.log Do něj se zapisují všechny přístupy. Když si jej stáhnete hledejte následující boty:
GoogleBot
GoogleBot se identifikuje jako GoogleBot v user agent (prohlížeči) a přistupuje z více jak 280 rozsahů IP adres. Whitelistování je tak poměrně složité.
SeznamBot se identifikuje v user agent jako SeznamBot a přistupuje z následujících IP adres:
- 77.75.74.x
- • 77.75.76.x
- • 77.75.77.x
- • 77.75.78.x
- • 77.75.79.x
- 2a02:598:a::78:x
- 2a02:598:2::x
- 2a02:598:a::79:x
Seznam Freshbot pak z:
- 77.75.77.31
- 77.75.79.31
- 2a02:598:a::79:31
- 2a02:598:2::1031
Testovací roboty Seznamu přichází z
- 77.75.74.41
- 77.75.74.241
