Tag <meta name="robots"> to instrukcja umieszczana w sekcji <head> strony HTML, która mówi robotom wyszukiwarek, jak mają postąpić z daną podstroną. Atrybut rel="nofollow" działa inaczej — przypisuje się go do konkretnych linków, nie do całej strony.
Dyrektywy tagu meta robots
Tag meta robots może zawierać kilka dyrektyw:
- noindex — robot nie powinien indeksować tej strony. Jeśli strona była już w indeksie, zostanie z niego usunięta.
- nofollow — robot nie powinien podążać za żadnym linkiem znajdującym się na tej stronie.
- noarchive — Google nie powinien przechowywać i pokazywać zapisanej wersji strony (cache).
- nosnippet — Google nie powinien wyświetlać opisu (snippeta) tej strony w wynikach wyszukiwania.
Dyrektywy można łączyć: <meta name="robots" content="noindex, nofollow">.
Noindex — co robi i kiedy używać
Noindex wyklucza stronę z indeksu Google. Strona nadal może być dostępna dla użytkowników, ale nie pojawi się w wynikach wyszukiwania.
Kiedy stosować noindex:
– strony techniczne, które nie powinny być widoczne w Google (np. strona logowania, strona koszyka w WooCommerce, strony z podziękowaniem po wypełnieniu formularza)
– zduplikowane treści, których nie możemy usunąć ani przekierować
– strony wewnętrzne dla zalogowanych użytkowników
Ważna uwaga: jeśli strona jest zablokowana w pliku robots.txt (dyrektywa Disallow), robot Google może nie odczytać tagu noindex umieszczonego w jej kodzie HTML. Blokada w robots.txt uniemożliwia wejście na stronę — a skoro robot nie wchodzi, nie widzi noindex. Efekt: strona może pozostać w indeksie, bo Google zna jej adres z innych linków.
Rel=”nofollow” — atrybut na linkach
Atrybut rel="nofollow" to coś innego niż dyrektywa meta robots nofollow. Działa na poziomie pojedynczego linku, nie całej strony.
Link z atrybutem nofollow: <a href="https://przyklad.com" rel="nofollow">tekst</a>
Wskazuje, że autor strony nie rekomenduje strony docelowej. Stosuje się go przy:
– linkach, za które autor strony nie ręczy
– linkach dodawanych przez użytkowników
– starszych oznaczeniach linków sponsorowanych, choć dziś dla takich linków lepiej używać rel="sponsored"
Od 2019 roku Google traktuje atrybut rel="nofollow" jako wskazówkę, nie jako bezwzględny nakaz. Robot może samodzielnie zdecydować o przejściu na stronę docelową, jeśli uzna to za zasadne. W praktyce nofollow na linkach nadal ogranicza transfer autorytetu.
Google wprowadził też dodatkowe atrybuty: rel="sponsored" dla linków płatnych i rel="ugc" dla linków generowanych przez użytkowników (UGC — user-generated content). Od WordPressa 5.3 linki w komentarzach i adresy autorów komentarzy otrzymują domyślnie rel="nofollow ugc".
Robots.txt a noindex — kluczowa różnica
Robots.txt to plik na serwerze kontrolujący, które obszary strony robot może skanować. Noindex to tag w kodzie HTML strony.
- Robots.txt blokuje skanowanie — robot w ogóle nie wchodzi na stronę.
- Noindex blokuje indeksowanie — robot wchodzi na stronę, odczytuje ją, ale nie dodaje do indeksu.
Błędem jest jednoczesne używanie obu dla tej samej strony w celu jej usunięcia z Google. Jeśli strona jest w robots.txt jako Disallow, robot nie odczyta noindex i strona może pozostać w indeksie.
Jak zarządzać dyrektywami w WordPress
WordPress ma wbudowaną opcję: Ustawienia → Czytanie → „Zniechęcaj wyszukiwarki do indeksowania tej witryny”. Włączenie jej ustawia noindex na całej witrynie — przydatne na środowisku testowym (staging), ale niedopuszczalne na produkcji.
Granularne zarządzanie dyrektywami noindex i nofollow na poziomie poszczególnych stron i wpisów zapewniają wtyczki SEO — Yoast SEO i RankMath. Umożliwiają ustawienie dyrektyw robots per strona, per typ wpisu, per taksonomia.
Informacje o tym, jakie meta dane SEO są wyświetlane w wynikach Google, znajdziesz w artykule: Meta tytuł i meta opis w WordPress.
O tym, jak canonical współpracuje z indeksowaniem i dystrybucją autorytetu: Canonical URL w WordPress.
Linki wewnętrzne z atrybutem nofollow nie przekazują autorytetu do stron docelowych — warto to uwzględniać przy budowie struktury linkowania: Linkowanie wewnętrzne w WordPress.
Czego nie mylić
Noindex ≠ blokada w robots.txt. Blokada crawlowania to nie to samo co blokada indeksowania.
Meta robots nofollow ≠ rel=”nofollow”. Meta robots nofollow dla całej strony mówi robotowi, żeby nie podążał za żadnym linkiem na tej stronie. Rel=”nofollow” na konkretnym linku dotyczy tylko tego jednego linku.
Noindex ≠ canonical. Canonical mówi, która wersja strony jest preferowana przy duplikatach. Noindex mówi, żeby strony w ogóle nie indeksować. Używanie obu jednocześnie dla tej samej strony to logiczny błąd.
Podsumowanie
Noindex usuwa stronę z indeksu Google — użyteczne dla stron technicznych i duplikatów. Rel=”nofollow” na linku ogranicza transfer autorytetu do strony docelowej, ale Google traktuje go jako wskazówkę, nie twardy nakaz. Kluczowe jest odróżnienie blokady skanowania (robots.txt) od blokady indeksowania (noindex).