Kod 410 a 404: jak informować Google o trwale usuniętych podstronach

Co oznaczają kody 404 i 410 w standardzie HTTP

Kod 404 oznacza, że serwer nie znalazł zasobu pod żądanym adresem, a kod 410 oznacza, że zasób istniał, został usunięty i najprawdopodobniej już nie wróci. Oba należą do grupy 4xx, czyli błędów po stronie żądania: serwer działa poprawnie, tylko nie ma czego wysłać. Przeglądarka i robot wyszukiwarki dostają więc czytelną informację, że problem nie leży w awarii, lecz w samym adresie.

Opis obu kodów w dokumentacji MDN poświęconej kodowi 404 i w dokumentacji kodu 410 jest zgodny w jednym punkcie: odpowiedź 404 informuje wyłącznie o braku zasobu i nie mówi, czy to stan przejściowy, czy ostateczny. Kod 410 idzie krok dalej. Właściciel serwisu deklaruje nim, że treść została wycofana świadomie, a programy odpytujące serwer nie powinny ponawiać żądań. Ta sama dokumentacja zaleca też, aby właściciele stron usuwali lub podmieniali odnośniki prowadzące do adresów z kodem 410.

Różnica leży w intencji, nie w wyglądzie strony

Użytkownik zwykle nie odróżni jednego kodu od drugiego, ponieważ w obu przypadkach widzi stronę z komunikatem o braku treści. Różnicę widać dopiero w nagłówku odpowiedzi, czyli w pierwszym wierszu, który serwer wysyła przed kodem HTML. Kod 404 pojawia się samoczynnie: wystarczy, że ktoś wpisze adres z literówką albo że z systemu zarządzania treścią zniknie wpis. Kod 410 prawie nigdy nie powstaje sam z siebie. Ktoś musi go ustawić regułą na serwerze albo w aplikacji, dlatego jest sygnałem celowej decyzji.

Warto zwrócić uwagę na jeszcze jedną cechę opisaną w dokumentacji standardu: odpowiedź 410 domyślnie może być zapisywana w pamięci podręcznej. W praktyce oznacza to, że serwery pośredniczące i sieci dostarczania treści mogą przez pewien czas podawać ją bez pytania serwera źródłowego. Ma to znaczenie, gdy kod zostanie ustawiony przez pomyłkę na adresie, który powinien działać.

Jak Google traktuje kody 404 i 410

Google traktuje oba kody jako ten sam rodzaj sygnału: adres zwracający odpowiedź z grupy 4xx nie trafia do indeksu, a jeśli już w nim był, zostaje z niego usunięty. Tak opisuje to strona dokumentacji o wpływie kodów stanu HTTP na roboty Google. W tym samym miejscu czytamy, że wszelka treść odebrana z takiego adresu jest ignorowana, a częstotliwość odwiedzin robota powoli maleje. Kod 410 jest tam wymieniony w grupie 4xx razem z 404, bez osobnego opisu zachowania.

To ważne ustalenie, ponieważ w sieci krąży wiele pewnych siebie twierdzeń o tym, że 410 działa błyskawicznie, a 404 ciągnie się miesiącami. Oficjalna dokumentacja tego nie potwierdza. Nie podaje ani liczby dni, ani liczby wizyt, po których adres znika. Mówi tylko o kierunku: adres wypada z indeksu, a robot zagląda coraz rzadziej. Ogólne zasady dla wszystkich grup odpowiedzi omawiamy w tekście o tym, jak Googlebot traktuje kody odpowiedzi HTTP, dlatego tutaj skupiamy się wyłącznie na parze 404 i 410.

Dokumentacja Google zawiera jeszcze dwa szczegóły przydatne przy planowaniu porządków. Po pierwsze, kody z grupy 4xx, z wyjątkiem kodu 429, nie wpływają na szybkość skanowania całej witryny. Usunięcie tysiąca podstron nie sprawi więc, że robot zacznie omijać resztę serwisu. Po drugie, strona pomocy opisująca rozwiązywanie problemów z błędami indeksowania wymienia oba kody jednym tchem: usunięta podstrona bez podobnego odpowiednika powinna zwracać 404 albo 410, a usunięta podstrona z odpowiednikiem powinna kierować pod nowy adres przekierowaniem 301.

Tempo usuwania z indeksu i ponowne wizyty robota

Żaden z dwóch kodów nie usuwa adresu natychmiast, ponieważ Google musi najpierw ponownie odwiedzić stronę i odebrać nową odpowiedź. Dopóki robot nie przyjdzie, w indeksie pozostaje ostatnia znana wersja. Tempo zależy więc przede wszystkim od tego, jak często dany adres był dotąd odwiedzany, a dopiero w dalszej kolejności od tego, który kod odbierze robot.

Druga sprawa to powroty. W opisie powodu dotyczącego kodu 404 w pomocy raportu Indeksowanie stron Google zaznacza, że robot może jeszcze przez pewien czas zaglądać pod usunięty adres. Strona o zarządzaniu budżetem indeksowania ujmuje to jeszcze dosadniej: Google nie zapomina adresu, który raz poznał, ale kod 404 jest wyraźnym sygnałem, aby nie skanować go ponownie. Ta sama strona zaleca zwracanie kodu 404 lub 410 dla stron trwale usuniętych i nie wskazuje, który z nich jest lepszy.

Czy kod 410 działa szybciej

Uczciwa odpowiedź brzmi: dokumentacja Google tego nie obiecuje. Logika standardu podpowiada, że deklaracja trwałego usunięcia powinna skłaniać robota do rzadszych powrotów niż odpowiedź, która trwałości nie przesądza. W branży często przytacza się też wypowiedzi przedstawicieli Google o nieznacznie szybszym wycofywaniu adresów z kodem 410, jednak w oficjalnych materiałach, które otworzyliśmy przy pracy nad tym tekstem, takiej zapowiedzi nie znaleźliśmy. Rozsądnie jest więc przyjąć, że ewentualna różnica jest niewielka i nie uzasadnia przebudowy serwisu, w którym usunięto kilka podstron. Główna wartość kodu 410 polega na jednoznaczności: w dzienniku serwera od razu widać, które adresy wycofano celowo, a które są zwykłą pomyłką w linku.

Kiedy liczba usuniętych adresów zaczyna mieć znaczenie

Wątek zasobów robota dotyczy głównie dużych serwisów. Google zastrzega, że jego wskazówki o budżecie indeksowania są przeznaczone dla witryn mających ponad milion unikalnych stron z treścią zmienianą raz w tygodniu albo ponad 10 tysięcy stron z treścią zmienianą codziennie, przy czym są to wartości szacunkowe. Strona firmy usługowej z kilkudziesięcioma podstronami nie odczuje żadnej różnicy między kodami. W sklepie z dziesiątkami tysięcy wycofanych kart produktów ważniejsze od wyboru kodu jest usunięcie linków wewnętrznych oraz wpisów w mapie witryny. Szerzej opisujemy to w tekście o tym, których serwisów dotyczy budżet indeksowania.

Kiedy wdrożenie kodu 410 jest warte zachodu

Wdrożenie kodu 410 opłaca się wtedy, gdy usuniętych adresów jest dużo, da się je opisać jednym wzorcem i mamy pewność, że nigdy nie wrócą. W takich sytuacjach jedna reguła na serwerze załatwia sprawę dla tysięcy adresów, a właściciel zyskuje czytelny zapis decyzji. Poniżej opisujemy dwa najczęstsze scenariusze.

Masowe usuwanie adresów

Pierwszy scenariusz to duże porządki. Sklep z Poznania kończy współpracę z producentem i wycofuje cały katalog jego wyrobów, bez zamienników. Portal ogłoszeniowy kasuje stare oferty, które od dawna są nieaktualne. Firma szkoleniowa z Łodzi zamyka dział i likwiduje kilkaset podstron z terminami zajęć. Wspólna cecha tych sytuacji jest taka, że adresy leżą w jednym katalogu albo mają wspólny fragment, więc można objąć je jedną regułą, a dla większości nie istnieje sensowny adres zastępczy.

Podobnie wygląda sprzątanie po błędach technicznych. Zdarza się, że wtyczka filtrów albo wyszukiwarka wewnętrzna wygeneruje tysiące adresów z parametrami, które trafiły do indeksu, zanim ktokolwiek to zauważył. Po naprawieniu przyczyny warto zdecydować, co robot ma dostać pod starymi adresami. Jeżeli nie mają one żadnej wartości i nie prowadzą do nich linki z zewnątrz, kod 410 ustawiony wzorcem jest prostym i czytelnym rozwiązaniem. W przypadku sklepów taką decyzję dobrze jest podjąć razem z osobą odpowiedzialną za pozycjonowanie sklepu, ponieważ część adresów z filtrami bywa celowo utrzymywana.

Strony po włamaniu

Drugi scenariusz to następstwa ataku. Włamywacze często tworzą w serwisie setki lub tysiące spamerskich podstron, na przykład z tekstem w obcym języku i linkami do podejrzanych sklepów. Po oczyszczeniu serwera pliki znikają, ale adresy nadal figurują w indeksie i mogą pojawiać się przy zapytaniach o nazwę firmy. To sytuacja, w której jednoznaczny sygnał trwałego usunięcia jest szczególnie pożądany, a adresy zwykle mają rozpoznawalny wzorzec.

Przy pracach po włamaniu trzeba jednak zachować kolejność. Materiał Google dotyczący naprawy szkód po ataku z japońskimi słowami kluczowymi ostrzega, że włamywacze potrafią maskować treść: właściciel widzi komunikat o braku strony, podczas gdy robot nadal dostaje spam. Ten sam materiał zwraca uwagę na podmienione lub dopisane mapy witryny oraz na plik .htaccess, który mógł zostać zmieniony przez atakującego. Reguły z kodem 410 należy więc wprowadzać dopiero do czystego pliku konfiguracyjnego, po usunięciu złośliwego kodu i obcych map witryny, a wynik sprawdzać narzędziem Google, nie tylko we własnej przeglądarce.

Jeśli chcą Państwo zamówić SEO techniczne, zachęcamy do kontaktu: tel. 222 500 844 lub mailowo: biuro@pozycjonowaniestron.pl

Kiedy lepiej nie używać kodu 410

Kodu 410 nie należy używać wtedy, gdy usunięta podstrona ma następcę, gdy treść może wrócić albo gdy do adresu prowadzą wartościowe linki z innych serwisów. W każdym z tych przypadków deklaracja trwałego usunięcia jest nieprawdziwa albo kosztowna, a lepszą odpowiedzią jest przekierowanie lub zwykły kod 404.

Najczęstsza pomyłka dotyczy podstron z odpowiednikiem. Kancelaria z Krakowa łączy dwa opisy usług w jeden, sklep zastępuje stary model urządzenia nowym, firma zmienia adres podstrony z cennikiem. Dokumentacja Google jest tu jednoznaczna: jeżeli usunięta strona ma odpowiednik, właściwe jest trwałe przekierowanie 301 pod nowy adres. Kod błędu, obojętnie który, odcina użytkownika od treści, której szuka. Różnice między rodzajami przekierowań wyjaśniamy w tekście o tym, kiedy użyć przekierowania 301, a kiedy 302.

Drugi przypadek to treści sezonowe i czasowo niedostępne. Oferta świąteczna, która wraca co roku, produkt chwilowo wyprzedany albo podstrona wydarzenia cyklicznego nie powinny dostawać kodu 410. Standard mówi wprost, że przy braku pewności co do trwałości właściwy jest kod 404, a często jeszcze lepiej zostawić stronę dostępną z informacją o aktualnym stanie oferty. Z kolei przerwa techniczna całego serwisu to zupełnie inna sytuacja, opisana w tekście o tym, jak zamknąć stronę na czas prac kodem 503.

Trzeci przypadek to adresy z linkami przychodzącymi. Jeżeli do usuniętego wpisu odsyłają inne serwisy, kod 410 oznacza rezygnację z ruchu, który te odnośniki przynoszą. Zanim zapadnie decyzja, warto przejrzeć raport Linki w Search Console i ustalić, czy w serwisie istnieje treść, która uczciwie odpowiada na tę samą potrzebę. Jeśli tak, przekierowanie będzie lepsze. Jeśli nie, kierowanie wszystkich usuniętych adresów na stronę główną nie jest dobrym wyjściem, co wyjaśniamy w tekście o tym, dlaczego Google uznaje istniejącą stronę za pustą.

Jak ustawić kod 410 na serwerze

Kod 410 ustawia się regułą w konfiguracji serwera albo w samej aplikacji, tak aby odpowiedź zawierała właściwy kod w nagłówku, a nie tylko komunikat w treści strony. Na serwerach Apache i zgodnych z plikami .htaccess wystarczą do tego jedna lub dwie linijki. Na innych serwerach, na przykład nginx, odpowiednią regułę wpisuje administrator w głównej konfiguracji, do której właściciel strony na hostingu współdzielonym zwykle nie ma dostępu.

Przed pierwszą zmianą konieczna jest kopia bieżącego pliku konfiguracyjnego. Błąd składni w pliku .htaccess potrafi wyłączyć cały serwis, a możliwość szybkiego przywrócenia poprzedniej wersji jest wtedy bezcenna.

Pojedyncze adresy i całe katalogi

Dokumentacja modułu mod_alias serwera Apache opisuje dyrektywę Redirect ze statusem gone, który zwraca kod 410 i informuje, że zasób został trwale usunięty. Przy tym statusie nie podaje się adresu docelowego, ponieważ nie ma dokąd kierować. Dyrektywa dopasowuje początek ścieżki, więc wpisanie katalogu obejmuje wszystko, co się w nim znajduje.

Redirect gone /promocja-wiosenna/
Redirect gone /katalog-wycofany/

Gdy adresy nie leżą w jednym katalogu, ale mają wspólny fragment, przydaje się dyrektywa RedirectMatch. Według dokumentacji działa ona tak samo jak Redirect, tylko zamiast początku ścieżki używa wyrażenia regularnego. Pozwala to objąć jedną regułą na przykład wszystkie adresy zaczynające się od określonego ciągu znaków, typowego dla stron dopisanych przez włamywacza.

RedirectMatch gone ^/oferta-archiwalna-[0-9]+/?$
RedirectMatch gone ^/tanie-zegarki-.*$

Adresy z parametrami

Dyrektywy Redirect i RedirectMatch dopasowują ścieżkę adresu, więc do adresów rozpoznawanych po parametrach po znaku zapytania wygodniej użyć modułu przepisywania adresów. Dokumentacja modułu mod_rewrite opisuje flagę G, która zwraca odpowiedź 410, oraz myślnik w miejscu adresu docelowego, oznaczający brak podstawienia. W serwisach opartych na WordPressie taką regułę umieszcza się nad blokiem reguł generowanym przez system, aby została sprawdzona jako pierwsza.

RewriteEngine On
RewriteCond %{QUERY_STRING} (^|&)stary_filtr= [NC]
RewriteRule ^ - [G]

Strona z komunikatem i porządki towarzyszące

Sam kod nie wystarczy, aby wdrożenie było kompletne. Użytkownik, który trafi pod wycofany adres ze starej zakładki, powinien dostać czytelną stronę z informacją, że treść została usunięta, z menu i wyszukiwarką serwisu. Na serwerze Apache treść takiej strony wskazuje dyrektywa ErrorDocument z numerem kodu. Istotne jest, aby strona komunikatu nadal była wysyłana z kodem 410, a nie z kodem 200, ponieważ w przeciwnym razie cały zabieg traci sens.

Równolegle trzeba usunąć wycofane adresy z mapy witryny. Mapa powinna zawierać wyłącznie adresy kanoniczne, które mają się pojawiać w wynikach, a wpis prowadzący do kodu 410 jest sprzecznym sygnałem. Zasady budowy pliku przypominamy w tekście o tym, co umieścić w mapie witryny XML. To samo dotyczy linków wewnętrznych w menu, stopce, treści wpisów i okruszkach. Pomoc Search Console radzi naprawiać przede wszystkim te błędy 404, do których prowadzą linki wewnętrzne lub wpisy w mapie witryny, i tę samą zasadę stosujemy do kodu 410.

Jeżeli strona korzysta z pamięci podręcznej lub sieci dostarczania treści, po wdrożeniu reguł należy wyczyścić zapisane kopie usuniętych adresów. W przeciwnym razie warstwa pośrednia może nadal podawać starą wersję z kodem 200, a robot nie dowie się o zmianie.

Jak sprawdzić, czy serwer zwraca właściwy kod

Wynik wdrożenia sprawdza się w trzech miejscach: bezpośrednim zapytaniem do serwera, testem wersji opublikowanej w Search Console oraz w raportach pokazujących, co robot faktycznie odebrał w kolejnych tygodniach. Sam widok strony z komunikatem w przeglądarce niczego nie dowodzi, ponieważ identycznie wygląda strona wysłana z kodem 200.

Nagłówek odpowiedzi

Najszybsza kontrola to odczytanie pierwszego wiersza odpowiedzi serwera. W przeglądarce Chrome służą do tego narzędzia dla programistów: po ich otwarciu i przejściu na kartę Sieć wystarczy odświeżyć stronę i odczytać kod w pierwszym wierszu listy żądań. Osoby pracujące w wierszu poleceń mogą użyć programu curl z opcją pobrania samych nagłówków.

curl -I https://www.example.com/katalog-wycofany/model-123/

HTTP/2 410

Kontrolę warto przeprowadzić na kilku adresach z każdej reguły oraz, co równie ważne, na kilku adresach, które mają działać. Zbyt szeroki wzorzec potrafi objąć podstrony, o których autor reguły nie pomyślał, na przykład aktualną kategorię o nazwie zaczynającej się od tych samych liter co wycofany katalog.

Kontrola w Search Console

Drugie miejsce to narzędzie do sprawdzania adresów URL. Pełny adres wpisuje się w pasku wyszukiwania u góry dowolnego ekranu Search Console, a następnie uruchamia test wersji opublikowanej. Narzędzie pobiera wtedy stronę w czasie rzeczywistym. Według pomocy narzędzia do sprawdzania adresów URL po otwarciu podglądu przetestowanej strony i przejściu do karty Więcej informacji widać odpowiedź HTTP wraz z nagłówkami. To szczególnie ważne po włamaniu, gdy istnieje ryzyko, że robot dostaje inną treść niż człowiek. Sposób czytania pozostałych pól wyniku opisujemy w tekście o sprawdzaniu adresu URL w Search Console.

Trzecie miejsce to raport Indeksowanie stron. W tabeli z powodami nieindeksowania znajduje się wiersz Nie znaleziono (404) oraz zbiorczy wiersz dla adresów zablokowanych z powodu innego błędu 4xx. Pomoc Search Console nie wymienia osobnego powodu dla kodu 410, dlatego nie należy się go spodziewać: usunięte adresy pojawią się w jednym z istniejących wierszy. Przycisk weryfikacji poprawki nie ma tu zastosowania, ponieważ kod 410 nie jest błędem do naprawienia, tylko zamierzonym stanem.

Uzupełnieniem jest raport Statystyki indeksowania, do którego prowadzi pozycja Ustawienia w menu bocznym. W zestawieniu według odpowiedzi widać, jakimi kodami kończyły się żądania robota. Pomoc tego raportu określa odpowiedzi 404 jako prawdopodobnie prawidłowe i przypomina, że często są one zamierzone. Jeżeli Państwa hosting udostępnia dzienniki serwera, dają one najdokładniejszy obraz: widać w nich każdą wizytę robota pod konkretnym adresem wraz z kodem odpowiedzi, czego Search Console nie pokazuje dla pojedynczych adresów.

Kod 410 a narzędzie do usuwania w Search Console

Kod 410 i narzędzie do usuwania rozwiązują dwa różne problemy: kod odpowiada za trwały skutek, a narzędzie za szybkie, ale czasowe ukrycie adresu w wynikach. Jedno nie zastępuje drugiego. Według pomocy narzędzia do usuwania prośba złożona na karcie Tymczasowe usunięcia działa około sześciu miesięcy, po czym adres może wrócić do wyników, jeśli w tym czasie nie został usunięty trwale.

Ta sama strona pomocy wymienia kod 404 albo 410 jako jeden ze sposobów trwałego usunięcia i zastrzega, że plik robots.txt nie jest do tego właściwym środkiem. Przy masowych porządkach przydaje się opcja obejmująca wszystkie adresy zaczynające się od podanego prefiksu, która pozwala jedną prośbą ukryć cały wycofany katalog. Pełny przegląd metod zawiera nasz tekst o usuwaniu strony z wyników Google.

Typowe pomyłki przy wdrażaniu kodu 410

Najgroźniejsze pomyłki przy kodzie 410 to zbyt szeroki wzorzec reguły, kod widoczny tylko w treści strony zamiast w nagłówku oraz pozostawienie linków i wpisów w mapie witryny prowadzących do wycofanych adresów. Każda z nich albo odbiera ruch działającym podstronom, albo sprawia, że Google dostaje sprzeczne sygnały.

Zbyt szeroki wzorzec ma najpoważniejsze skutki. Reguła napisana dla adresów zaczynających się od słowa oferta obejmie również nową podstronę oferta-dla-firm, jeśli autor nie zamknie wzorca precyzyjnie. Ponieważ odpowiedź 410 może być przechowywana w pamięci podręcznej, skutki pomyłki bywają widoczne jeszcze po poprawieniu reguły.

Druga pomyłka to pozorne wdrożenie: strona wyświetla napis o trwałym usunięciu treści, ale serwer wysyła ją z kodem 200. Trzecia dotyczy blokady w pliku robots.txt nałożonej na wycofany katalog, przez którą robot nie pozna nowego kodu. Czwarta to użycie kodu 410 zamiast przekierowania tam, gdzie istnieje następca strony. Porządkowanie usuniętych adresów jest stałym elementem prac, które prowadzimy w ramach SEO technicznego, a przy większych serwisach poprzedza je audyt SEO, który pokazuje, ile takich adresów jest i skąd prowadzą do nich linki.

• Lista usuwanych adresów jest spisana i podzielona na te z następcą oraz te bez następcy.
• Adresy z następcą mają przekierowanie 301, a nie kod błędu.
• Wzorzec reguły został przetestowany na adresach, które mają pozostać dostępne.
• Nagłówek odpowiedzi pokazuje kod 410, a strona komunikatu nie jest wysyłana z kodem 200.
• Wycofane adresy zniknęły z mapy witryny oraz z linków wewnętrznych.
• Plik robots.txt nie blokuje robotowi dostępu do wycofanych adresów.
• Pamięć podręczna serwera i sieci dostarczania treści została wyczyszczona.
• Test wersji opublikowanej w Search Console potwierdza ten sam kod, który widać w przeglądarce.

Pomoc specjalisty przydaje się przede wszystkim wtedy, gdy adresów jest bardzo dużo, gdy serwis był ofiarą włamania albo gdy nie ma pewności, które podstrony przynoszą ruch i linki.

Jeśli chcą Państwo zamówić SEO techniczne, zachęcamy do kontaktu: tel. 222 500 844 lub mailowo: biuro@pozycjonowaniestron.pl