Zaawansowane dyrektywy robotów to polecenia kierowane do programów odwiedzających strony internetowe, które wykraczają poza najczęściej spotykane wartości odpowiadające za dopuszczenie strony do indeksu oraz za podążanie za odnośnikami. Tworzą one warstwę precyzyjnej kontroli nad tym, w jaki sposób wyszukiwarka przetwarza zawartość witryny, przechowuje jej kopię i prezentuje ją osobom korzystającym z wyników. Dzięki nim właściciel serwisu może wskazać nie tylko, czy dana podstrona ma w ogóle pojawić się w wynikach, lecz także jak ma wyglądać jej opis, czy obok niego ma znaleźć się powiększony podgląd grafiki oraz jak długi fragment tekstu wolno pokazać użytkownikowi. To narzędzie subtelne, ponieważ pojedyncze słowo wpisane w odpowiednim miejscu potrafi zmienić sposób, w jaki tysiące adresów zachowują się w wyszukiwarce, a skutki bywają zarówno korzystne, jak i niezamierzone.
Aby dobrze zrozumieć rolę tych poleceń, warto rozdzielić dwa procesy, które bywają mylone. Pierwszym jest odwiedzanie i pobieranie zawartości, czyli moment, w którym robot wczytuje stronę i odczytuje jej kod. Drugim jest indeksowanie, czyli zapisanie strony w zbiorze, z którego wyszukiwarka czerpie wyniki. Zaawansowane dyrektywy robotów działają przede wszystkim na tym drugim etapie oraz na sposobie prezentacji, a nie na samym dostępie do pliku. Z tego rozróżnienia wynika wiele praktycznych zaleceń, do których wrócimy w dalszej części, ponieważ pomylenie obu poziomów jest jednym z najczęstszych powodów, dla których strona zachowuje się inaczej, niż życzył sobie tego jej właściciel. Im większy serwis, tym bardziej rozdzielenie tych pojęć przekłada się na rzeczywistą widoczność.
Dwa miejsca, w których przekazuje się polecenia
Polecenia dla robotów można przekazać na dwa sposoby, a oba prowadzą do tego samego celu. Pierwszym jest znacznik meta o nazwie robots, umieszczony w sekcji nagłówkowej dokumentu, czyli w części kodu niewidocznej bezpośrednio dla odwiedzającego. Taki zapis dotyczy wyłącznie strony, w której się znajduje, i jest najwygodniejszy dla typowych stron napisanych w języku HTML. Drugim sposobem jest nagłówek odpowiedzi serwera o nazwie X-Robots-Tag, przesyłany wraz z plikiem, zanim jeszcze przeglądarka zacznie wyświetlać treść. Jego przewagą jest to, że obejmuje również pliki, które nie mają sekcji nagłówkowej, a więc dokumenty PDF, obrazy, arkusze czy pliki przeznaczone do pobrania, gdzie zwykły znacznik nie miałby gdzie zostać umieszczony.
Nagłówek serwera daje też możliwość ustawienia jednej reguły dla całej grupy plików naraz, na przykład dla wszystkich obrazów w określonym katalogu albo dla wszystkich dokumentów danego typu. To rozwiązanie cenione przy obsłudze rozbudowanych witryn, gdzie ręczne dodawanie znacznika do każdej strony byłoby nie do utrzymania. Gdy obie metody zostaną użyte równocześnie i przekażą sprzeczne wskazania, wyszukiwarka kieruje się zasadą ostrożności i stosuje rozwiązanie bardziej ograniczające. Oznacza to, że jeżeli jedno źródło zezwala na pokazanie strony, a drugie tego zabrania, ostatecznie zwycięża zakaz. Wiedza o tej zasadzie chroni przed sytuacją, w której dwa działy firmy ustawiają polecenia niezależnie od siebie i nieświadomie wykluczają wartościowe podstrony z wyników wyszukiwania.
Przegląd najważniejszych dyrektyw zaawansowanych
Punktem wyjścia są dwie pary podstawowych wartości. Pierwsza decyduje o obecności strony w wynikach, druga o tym, czy robot ma podążać za odnośnikami umieszczonymi w treści. Dopiero na tym fundamencie pojawiają się polecenia rozszerzone, które nie usuwają strony z wyników, lecz zmieniają sposób jej prezentacji. To rozróżnienie jest istotne, ponieważ wiele osób sądzi, że każda dyrektywa służy ukrywaniu treści, podczas gdy znaczna ich część odpowiada wyłącznie za wygląd opisu, podglądu czy zapamiętanej wersji. Dobre rozumienie tych odcieni pozwala dopasować prezentację strony do jej charakteru, zamiast uciekać się do rozwiązań ostatecznych tam, gdzie wystarczy delikatna korekta.
Polecenie noarchive sprawia, że wyszukiwarka nie udostępnia zapamiętanej kopii strony, czyli zapisu jej wcześniejszej wersji. Sama strona nadal pojawia się w wynikach, lecz użytkownik nie może obejrzeć jej archiwalnego widoku. Rozwiązanie bywa stosowane tam, gdzie zawartość zmienia się bardzo często, a pokazanie starszej wersji mogłoby wprowadzić odwiedzającego w błąd, na przykład przy cenach, stanach magazynowych czy ofertach o ograniczonym czasie obowiązywania. Warto pamiętać, że brak zapamiętanej kopii nie wpływa na samą pozycję strony, a jedynie odbiera możliwość zajrzenia do jej dawnej postaci, co w części branż bywa wręcz pożądane ze względu na aktualność prezentowanych informacji.
Polecenie nosnippet usuwa z wyniku tekstowy fragment opisu oraz odbiera stronie możliwość pojawienia się w rozbudowanych odpowiedziach prezentowanych nad listą wyników. W praktyce oznacza to, że przy adresie widnieje sam tytuł oraz adres, bez zdania zachęcającego do kliknięcia. Z tego powodu stosuje się je oszczędnie, ponieważ brak opisu zwykle obniża skłonność do wejścia na stronę i może odebrać część ruchu. Bywa jednak przydatne tam, gdzie właściciel nie chce, aby fragment wrażliwej treści był widoczny bez otwarcia strony, albo gdy automatycznie dobierany opis prezentował się gorzej niż brak opisu w danym układzie wyników.
Polecenie max-snippet pozwala wskazać górną granicę długości pokazywanego fragmentu opisu, wyrażoną liczbą znaków. Wartość zero całkowicie wyłącza opis, działając podobnie do poprzedniego polecenia, natomiast wartość ujemna oznacza brak ograniczenia i pozostawia decyzję wyszukiwarce. Dzięki temu można na przykład przyciąć opisy w działach, w których dłuższy fragment nie wnosi wartości, a jednocześnie pozostawić pełną swobodę tam, gdzie rozbudowany opis pomaga użytkownikowi ocenić przydatność strony jeszcze przed kliknięciem. Polecenie to bywa wykorzystywane przy treściach przeznaczonych dla subskrybentów, gdzie publiczny opis powinien zachęcać, lecz nie ujawniać całości materiału.
Polecenia max-image-preview oraz max-video-preview odpowiadają za rozmiar podglądu grafiki i nagrania prezentowanego obok wyniku. W przypadku obrazu można wybrać brak podglądu, podgląd o wielkości zwyczajowej albo podgląd powiększony, który zajmuje więcej miejsca i mocniej przyciąga wzrok. W przypadku nagrania wskazuje się dopuszczalną długość ruchomego podglądu liczoną w sekundach, gdzie zero pozwala jedynie na nieruchomy kadr, a wartość ujemna nie nakłada ograniczenia. Te ustawienia mają duże znaczenie dla serwisów opartych na materiałach wizualnych, ponieważ powiększony podgląd potrafi wyraźnie zwiększyć liczbę wejść z wyszukiwarki grafiki, a tym samym wpłynąć na ruch docierający do całej witryny.
Polecenie noimageindex wyłącza obrazy znajdujące się na stronie z indeksu wyszukiwarki grafiki, choć sama strona pozostaje w wynikach zwykłych. Polecenie notranslate informuje, że w wynikach nie powinna pojawiać się propozycja automatycznego tłumaczenia strony, co bywa przydatne, gdy treść została starannie opracowana w danym języku i jej maszynowy przekład mógłby zniekształcić znaczenie. Polecenie unavailable_after wskazuje moment, po którym strona ma zniknąć z wyników, dzięki czemu materiały o ograniczonym czasie aktualności, takie jak zapisy wydarzeń czy ogłoszenia obowiązujące przez wskazany okres, mogą zostać wycofane automatycznie, bez ręcznej ingerencji w ustawienia serwisu.
W zestawie poleceń znajdują się także wartości skrótowe. Jedna z nich łączy zakaz obecności w wynikach z zakazem podążania za odnośnikami, a druga zdejmuje wszelkie ograniczenia i przywraca zachowanie domyślne. Osobnym, rzadziej spotykanym poleceniem jest indexifembedded, które współpracuje z zakazem indeksowania i pozwala, by treść osadzona w innej stronie mogła pojawić się w wynikach jako jej część, mimo że samodzielnie pozostaje poza indeksem. Rozwiązanie to bywa przydatne przy materiałach prezentowanych wewnątrz ramek osadzonych na stronach nadrzędnych, gdzie sama ramka nie powinna być wynikiem, lecz jej zawartość ma wzbogacać stronę, w której się znajduje.
Poza poleceniami obejmującymi całą stronę istnieje również sposób oznaczania pojedynczych fragmentów treści, tak aby nie trafiły do opisu w wynikach, podczas gdy reszta strony pozostaje dostępna do prezentacji. Służy do tego specjalny atrybut dodawany do wybranego elementu w kodzie. Dzięki niemu można wskazać, że na przykład zdanie z ceną albo dane kontaktowe nie powinny pojawiać się w skróconym opisie, a jednocześnie pozostawić wyszukiwarce swobodę w doborze pozostałego fragmentu. To narzędzie precyzyjne, pozwalające oddzielić część, którą warto pokazać, od części przeznaczonej wyłącznie dla osób odwiedzających stronę, bez konieczności ograniczania całego dokumentu.
Kierowanie poleceń do wybranych robotów
Dyrektywy można adresować do wszystkich programów odwiedzających witrynę albo do wybranych z nich. W zapisie wskazuje się wówczas nazwę danego robota, a po niej przypisane mu polecenia. Domyślnie reguła bez wskazanej nazwy odnosi się do każdego programu, który ją odczyta. Dzięki adresowaniu można na przykład pozwolić ogólnemu robotowi wyszukiwarki na pełną prezentację strony, a jednocześnie ograniczyć zachowanie robota odpowiedzialnego za sekcję informacyjną, jeżeli właściciel nie chce, by materiał pojawiał się w wiadomościach. Możliwe jest też odrębne traktowanie robotów różnych wyszukiwarek, co bywa potrzebne, gdy strategia widoczności różni się w zależności od rynku albo rodzaju treści.
Przy adresowaniu poleceń warto pamiętać o przejrzystości zapisu, ponieważ nakładające się reguły dla różnych nazw potrafią dać wynik trudny do przewidzenia. Dobrym nawykiem jest dokumentowanie, która reguła odnosi się do którego robota i z jakiego powodu została wprowadzona. Taki porządek ułatwia późniejsze sprawdzanie ustawień oraz przekazanie wiedzy nowym osobom w zespole, a także pozwala szybciej odnaleźć źródło problemu, gdy strona zachowuje się inaczej, niż wynika to z założeń. Brak takiej dokumentacji sprawia, że po pewnym czasie nikt nie pamięta, dlaczego dana reguła powstała, a jej usunięcie staje się ryzykowne.
Plik robots.txt a polecenia indeksowania
Najczęstsze nieporozumienie dotyczy relacji między plikiem zarządzającym dostępem robotów a poleceniem zakazującym indeksowania. Plik ten wskazuje, których adresów robot nie powinien odwiedzać, lecz nie usuwa stron z wyników. Jeżeli adres zostanie w nim zablokowany, robot nie wczyta jego zawartości, a tym samym nie odczyta umieszczonego na stronie zakazu indeksowania. W rezultacie zablokowana strona może mimo wszystko pojawić się w wynikach, najczęściej jako sam adres bez opisu, gdy prowadzą do niej odnośniki z innych miejsc. Powstaje wówczas sytuacja odwrotna do zamierzonej, ponieważ próba ukrycia strony skutkuje jej obecnością w wynikach w zubożonej, mało zachęcającej formie.
Prawidłowe rozwiązanie polega na odwrotnej kolejności. Aby strona zniknęła z wyników, robot musi mieć możliwość jej odwiedzenia i odczytania polecenia zakazującego indeksowania. Dlatego adresów, które mają zostać usunięte z wyników, nie blokuje się w pliku zarządzającym dostępem, lecz pozostawia otwarte i opatruje odpowiednim poleceniem. Dopiero po tym, jak wyszukiwarka usunie stronę z indeksu, można rozważyć ograniczenie dostępu, jeśli istnieje ku temu osobny powód. Zrozumienie tej zależności pozwala uniknąć błędu, który potrafi utrzymywać się miesiącami, zanim zostanie zauważony, a jego skutki bywają tym dotkliwsze, im więcej adresów obejmuje.
Współdziałanie z adresem kanonicznym
Polecenia dla robotów współistnieją z innymi wskazówkami, w tym z adresem kanonicznym, który informuje, która wersja powielonej treści ma być traktowana jako główna. Łączenie zakazu indeksowania z odnośnikiem kanonicznym wskazującym inny adres prowadzi do sprzecznych sygnałów, ponieważ jedno wskazanie sugeruje usunięcie strony z wyników, a drugie traktowanie jej jako wariantu innej, wartościowej strony. Wyszukiwarka musi wtedy zdecydować, którą wskazówkę uznać za nadrzędną, a wynik bywa niepewny. Z tego względu te dwa narzędzia stosuje się rozdzielnie, zależnie od tego, czy strona ma zostać scalona z inną, czy raczej zniknąć z wyników, a nie obie te rzeczy jednocześnie.
Polecenia a renderowanie treści w przeglądarce
Współczesne strony często budują część zawartości za pomocą kodu wykonywanego dopiero w przeglądarce, a nie przesyłanego od razu w pierwotnej odpowiedzi serwera. Ma to znaczenie dla poleceń kierowanych do robotów, ponieważ najpewniejsze są te, które znajdują się w treści już w chwili jej pobrania. Jeżeli polecenie pojawia się dopiero po wykonaniu kodu, istnieje ryzyko, że zostanie odczytane później albo w szczególnych przypadkach pominięte. Bezpieczniejszym rozwiązaniem jest umieszczenie wskazań po stronie serwera, tak aby robot napotkał je natychmiast. Dotyczy to zarówno znacznika w sekcji nagłówkowej, jak i nagłówka odpowiedzi, który z natury pojawia się przed wyświetleniem zawartości i nie zależy od wykonania dodatkowego kodu.
Najczęstsze błędy i jak ich unikać
Pierwszym z powtarzających się błędów jest pozostawienie zakazu indeksowania po uruchomieniu serwisu. Wiele witryn powstaje w wersji roboczej zamkniętej dla wyszukiwarek, a po przeniesieniu do wersji dostępnej publicznie zdarza się, że dawne ustawienie nie zostaje usunięte. Skutkiem jest brak strony w wynikach mimo gotowej treści. Drugim błędem są sprzeczne wskazania pochodzące jednocześnie ze znacznika i z nagłówka serwera, które dają wynik bardziej ograniczający, niż zakładano. Trzecim jest opisana wcześniej próba ukrycia strony przez zablokowanie dostępu zamiast przez polecenie zakazujące indeksowania, prowadząca do skutku odwrotnego do zamierzonego.
Kolejnym ryzykiem jest zbyt szerokie stosowanie poleceń ograniczających, które przy nieuważnym wdrożeniu obejmują również wartościowe podstrony. Dlatego każdą regułę warto wprowadzać świadomie, z jasnym uzasadnieniem, i sprawdzać jej zasięg, zanim zostanie zastosowana w skali całego serwisu. Pomocne jest również okresowe przeglądanie ustawień, ponieważ witryny zmieniają się w czasie, a reguła sensowna na jednym etapie może stać się zbędna na innym. Uporządkowane podejście do tych poleceń zmniejsza liczbę błędów, które trudno wykryć bez celowego sprawdzenia, a porządek w tym obszarze procentuje przy każdej większej przebudowie serwisu.
Jak wdrażać i sprawdzać dyrektywy?
Po wprowadzeniu poleceń należy upewnić się, że są odczytywane zgodnie z zamiarem. Podstawowym narzędziem jest Google Search Console, a w nim funkcja sprawdzania pojedynczego adresu, która pokazuje, czy strona może trafić do indeksu, oraz wskazuje powód, gdy coś temu przeszkadza. Pozwala to wychwycić sytuacje, w których strona została nieświadomie wyłączona z wyników. Drugim sposobem jest podejrzenie nagłówków odpowiedzi serwera, dostępne w narzędziach dla twórców stron wbudowanych w przeglądarki, dzięki czemu można potwierdzić obecność i treść nagłówka X-Robots-Tag. Sprawdzanie warto przeprowadzać na niewielkiej próbie adresów przed zastosowaniem reguły w całym serwisie, aby ograniczyć skutki ewentualnej pomyłki.
Dobrym nawykiem jest także obserwacja, jak strony zachowują się w wynikach po wprowadzeniu zmian. Polecenia wpływające na opis czy podgląd grafiki dają efekt widoczny dopiero po ponownym odwiedzeniu strony przez robota, dlatego między wprowadzeniem reguły a jej skutkiem mija pewien czas. Cierpliwość i metodyczne sprawdzanie pozwalają odróżnić rzeczywisty efekt polecenia od naturalnych wahań pozycji, które wynikają z innych przyczyn. Takie podejście porządkuje pracę i ułatwia podejmowanie decyzji opartych na obserwacji, a nie na domysłach, co ma szczególne znaczenie przy serwisach o dużej liczbie adresów i zmiennej zawartości.
Dyrektywy a gospodarowanie zasobami odwiedzin
Choć polecenia indeksowania nie sterują bezpośrednio tym, jak często robot odwiedza witrynę, ich rozsądne stosowanie pośrednio wpływa na gospodarowanie zasobami przeznaczonymi na odwiedziny. Gdy z wyników wyłączone zostają strony pozbawione wartości dla osób szukających, takie jak powtarzalne warianty list czy strony potwierdzeń, wyszukiwarka może skupić uwagę na materiałach istotnych. W dużych serwisach, w których liczba adresów idzie w setki tysięcy, takie uporządkowanie bywa odczuwalne, ponieważ pomaga szybciej docierać do nowych i zaktualizowanych stron. Trzeba jednak pamiętać, że samo polecenie zakazujące indeksowania nadal wymaga odwiedzenia strony, więc nie zwalnia robota z jej pobrania i nie zastępuje innych metod porządkowania struktury.
Różnice między wyszukiwarkami
Choć wiele poleceń jest wspieranych przez najpopularniejsze wyszukiwarki, ich obsługa nie jest jednakowa. Część wartości rozpoznaje zarówno wyszukiwarka Google, jak i konkurencyjne rozwiązania, lecz niektóre polecenia bywają obsługiwane tylko przez wybrane z nich albo interpretowane nieco inaczej. Z tego powodu przed zastosowaniem mniej rozpowszechnionej dyrektywy warto sprawdzić jej obsługę w docelowej wyszukiwarce, zwłaszcza gdy witryna kieruje treść na rynki, na których popularność poszczególnych wyszukiwarek bywa odmienna. Założenie, że każde polecenie działa wszędzie tak samo, prowadzi do rozczarowań i utrudnia przewidzenie, jak strona zachowa się poza najpopularniejszą wyszukiwarką.
Praktyczne zastosowania w różnych typach witryn
W rozbudowanych serwisach polecenia ograniczające pomagają porządkować zasoby przeznaczone wyłącznie do użytku wewnętrznego, takie jak wyniki wyszukiwania na stronie, strony potwierdzenia po wysłaniu formularza, wersje do druku czy powtarzające się warianty list powstające przy filtrowaniu oferty. Pozostawienie takich adresów poza wynikami pozwala kierować uwagę wyszukiwarki na strony, które rzeczywiście mają budować widoczność. W sklepach internetowych ma to dodatkowe znaczenie, ponieważ filtry potrafią mnożyć niemal identyczne adresy, a uporządkowanie ich za pomocą poleceń ogranicza rozpraszanie zasobów oraz ryzyko uznania zawartości za powieloną.
W serwisach opartych na grafice i nagraniach większego znaczenia nabierają polecenia odpowiadające za podgląd, ponieważ powiększony obraz przy wyniku potrafi zauważalnie wpłynąć na liczbę wejść. W witrynach informacyjnych przydatne bywa adresowanie poleceń do robota odpowiedzialnego za sekcję wiadomości oraz wskazywanie momentu wycofania materiałów o ograniczonym czasie aktualności. W witrynach kierowanych do odbiorców w różnych językach polecenia bywają łączone z wskazówkami porządkującymi wersje językowe, dlatego ich wprowadzanie wymaga uwagi, aby ograniczenie nałożone na jedną wersję nie objęło przypadkiem pozostałych i nie odebrało widoczności na rynkach istotnych dla firmy.
Znaczenie dyrektyw w strategii widoczności
Świadome posługiwanie się dyrektywami robotów jest jednym z elementów porządkujących techniczną stronę serwisu i wpływa na to, jak witryna prezentuje się w wynikach. Agencja Pozycjonowanie stron traktuje te polecenia jako część pracy nad strukturą witryny, wprowadzaną w połączeniu z innymi działaniami, takimi jak budowa mapy witryny, ustawienia adresów kanonicznych czy poprawa szybkości ładowania. Celem jest utrzymanie w wynikach tego, co wartościowe, oraz pozostawienie poza nimi tego, co przeznaczone wyłącznie dla odwiedzających, przy zachowaniu spójności wszystkich sygnałów przekazywanych wyszukiwarce, tak aby nie przeczyły one sobie nawzajem.
W praktyce dyrektywy wprowadza się ostrożnie, po sprawdzeniu ich zasięgu i wpływu, ponieważ ich siła wynika właśnie z tego, że jedno polecenie potrafi objąć wiele adresów naraz. Doświadczenie zdobyte przy obsłudze witryn o różnej wielkości pozwala dobierać reguły tak, aby wspierały widoczność, a nie ją osłabiały. Z tego względu zmiany w tym obszarze najlepiej poprzedzać przeglądem stanu serwisu oraz dokumentować, co ułatwia późniejsze utrzymanie porządku i szybkie odnajdywanie źródeł ewentualnych problemów. Tak prowadzone działania zmniejszają ryzyko cichych spadków widoczności, które bywają trudne do powiązania z pierwotną przyczyną.
Podsumowanie
Zaawansowane dyrektywy robotów to zestaw poleceń pozwalających precyzyjnie kierować tym, czy strona pojawia się w wynikach, jak wygląda jej opis, czy obok niego prezentowany jest podgląd grafiki lub nagrania oraz kiedy materiał ma zostać wycofany. Przekazuje się je przez znacznik w sekcji nagłówkowej strony albo przez nagłówek odpowiedzi serwera, który obejmuje także pliki bez sekcji nagłówkowej. Kluczowe jest odróżnienie dostępu do strony od jej obecności w indeksie, ponieważ blokada dostępu nie usuwa adresu z wyników, a wręcz może utrwalić jego obecność w zubożonej formie. Świadomość tej zależności porządkuje większość decyzji dotyczących widoczności poszczególnych stron.
Najlepsze efekty daje rozważne i udokumentowane stosowanie poleceń, połączone ze sprawdzaniem ich skutków w narzędziach przeznaczonych do analizy widoczności. Dobrze dobrane dyrektywy porządkują serwis, kierują uwagę wyszukiwarki na wartościowe strony i dopasowują sposób prezentacji do charakteru witryny. Źle dobrane potrafią natomiast w cichy sposób obniżyć widoczność, dlatego warto traktować je jako narzędzie wymagające uwagi i wiedzy, a nie pojedyncze ustawienie wprowadzane bez namysłu. Przemyślane zarządzanie tymi poleceniami pozostaje stałym elementem dbałości o techniczną stronę serwisu i jego obecność w wyszukiwarce.
Jeżeli chcą Państwo poznać pełen zakres naszych rozwiązań wspierających rozwój biznesu, pełną listę usług można znaleźć na stronie : pozycjonowaniestron.pl
