Przejdź do treści
Pozycjonowanie Stron

Zapora i CDN a roboty AI: jak nie zablokować asystentów przez przypadek

Ochrona przed botami w zaporze, sieci CDN i wtyczkach WordPressa często zatrzymuje roboty asystentów AI. Jak to wykryć w logach i ustawić wyjątki bez osłabiania ochrony.

Zapora i CDN a roboty AI: przypadkowa blokada asystentów - okładka wpisu na blogu Pozycjonowanie Stron

Roboty asystentów AI najczęściej giną nie w pliku robots.txt, lecz warstwę wcześniej: w zaporze aplikacyjnej, w ochronie przed botami włączonej w sieci CDN albo we wtyczce bezpieczeństwa WordPressa. Właściciel strony niczego nie zakazywał, a mimo to ChatGPT, Perplexity czy Claude dostają odmowę i nie mają czego zacytować. Poniżej opisujemy, jak taką cichą blokadę rozpoznać, jak ją zdjąć i jak nie osłabić przy tym ochrony serwera.

Dlaczego zapora blokuje roboty AI, chociaż nikt tego nie zlecił

Dzieje się tak, ponieważ systemy ochronne oceniają ruch według własnych reguł, a robot asystenta AI wygląda dla nich jak każdy inny automat: nie uruchamia skryptów, pobiera wiele adresów w krótkim czasie i łączy się z centrum danych, a nie z domowego łącza. Jeżeli reguła mówi „automaty zatrzymać”, to zatrzymuje również te, na których firmie zależy.

Warto uporządkować, co stoi między robotem a treścią strony. Żądanie trafia najpierw do sieci CDN, czyli sieci serwerów pośredniczących, które podają kopie strony z miejsca bliższego odbiorcy. Tam zwykle działa zapora aplikacyjna (z angielskiego WAF, web application firewall). Dalej jest serwer hostingu z własnymi zabezpieczeniami, a na końcu WordPress z wtyczką bezpieczeństwa. Każda z tych warstw może samodzielnie odmówić dostępu i żadna nie informuje o tym pozostałych.

Zapora aplikacyjna (WAF)

Filtr ustawiony przed stroną internetową, który sprawdza każde żądanie HTTP i na podstawie reguł przepuszcza je, odrzuca albo kieruje do dodatkowej weryfikacji, na przykład do strony z wyzwaniem.

Czym różni się zakaz w robots.txt od blokady w zaporze

Plik robots.txt jest prośbą skierowaną do robota: operator czyta ją i sam decyduje, że danego adresu nie pobierze. Zapora jest fizyczną odmową: robot wysyła żądanie i dostaje kod błędu. Zakaz w robots.txt jest jawny i każdy może go przeczytać. Blokady w zaporze nie widać z zewnątrz, dopóki ktoś nie zajrzy do logów albo do panelu zabezpieczeń.

Druga różnica dotyczy skutków ubocznych. Zapora, która odrzuca robota po adresie IP lub po nazwie, odrzuca też jego żądanie o plik robots.txt. Firma Anthropic, operator asystenta Claude, pisze o tym w swojej pomocy dla właścicieli stron: blokowanie adresów IP nie jest zalecane, bo może uniemożliwić robotom odczytanie pliku robots.txt z preferencjami serwisu. Staranne reguły typu „robotowi uczącemu modele nie, robotowi wyszukiwania tak” przestają mieć znaczenie, jeżeli żaden robot nie jest w stanie ich pobrać.

Samą decyzję, czy i które roboty wpuszczać, omawiamy we wpisie o rachunku zysków i strat przy blokowaniu robotów AI. Tutaj zajmujemy się sytuacją, w której decyzja brzmi „wpuszczamy”, a technika robi coś odwrotnego.

Które ustawienia ochrony najczęściej odcinają asystentów

Najczęściej winne są ustawienia włączane jednym przełącznikiem: ogólna ochrona przed botami, gotowa kategoria „roboty AI” na liście blokad, wyzwanie w przeglądarce, blokada całych krajów oraz zbyt niski limit żądań. Żadne z nich nie jest błędem samo w sobie. Problem zaczyna się wtedy, gdy zostają włączone hurtowo i nikt nie sprawdza, kogo faktycznie zatrzymują.

Z naszej praktyki wynika, że takie przełączniki bywają aktywne od pierwszego dnia, ustawione domyślnie przez dostawcę usługi albo wykonawcę strony. Nazwy opcji różnią się między usługami, dlatego w tabeli opisujemy ich działanie, a nie etykiety w konkretnym panelu.

Mechanizm ochronyJak działaSkutek dla robota AI
Ogólna ochrona przed botamiOdrzuca ruch uznany za zautomatyzowanyOdmowa z kodem 403 lub strona z wyzwaniem
Gotowa kategoria „roboty AI”Blokuje listę nazw prowadzoną przez dostawcę zabezpieczeńZatrzymuje naraz roboty uczące modele i roboty wyszukiwania
Wyzwanie w przeglądarceWymaga wykonania skryptu lub rozwiązania zagadkiRobot dostaje stronę zastępczą zamiast treści
Blokada krajówOdrzuca żądania spoza wybranych państwRoboty z zagranicznych centrów danych nie docierają do serwera
Limit liczby żądańPo przekroczeniu progu zwraca kod 429 albo blokuje adresRobot pobiera kilka stron, a kolejne dostają odmowę
Blokada po nagłówku klientaOdrzuca żądania ze słowami „bot” lub „crawler” w nagłówkuOdmowa niezależnie od tego, czy robot jest prawdziwy
Czarne listy adresów IPBlokują zakresy adresów chmur i centrów danychOdmowa na poziomie połączenia
Ustawienia zapory, CDN i wtyczek bezpieczeństwa, które najczęściej zatrzymują roboty asystentów AI

Osobnego komentarza wymaga wyzwanie w przeglądarce. Dla człowieka to chwila oczekiwania, dla robota ściana. Anthropic deklaruje w cytowanej pomocy, że jego roboty nie próbują obchodzić zabezpieczeń typu CAPTCHA. Uczciwy robot po napotkaniu wyzwania odchodzi bez treści, a w statystykach zapory zapisuje się to jako „zatrzymany bot”, czyli pozorny sukces ochrony.

Porównanie zakazu w robots.txt i blokady w zaporze lub CDN: jak każda z metod działa na roboty AI
Plik robots.txt wyraża decyzję, zapora fizycznie odmawia dostępu, także do samego pliku.

Zdradliwa bywa też blokada krajów. Hipotetyczny sklep z Poznania, który sprzedaje wyłącznie w Polsce, może uznać ruch spoza kraju za zbędny. Tymczasem roboty nie muszą łączyć się z polskich adresów: dokumentacja Google wspomina o skanowaniu z adresów IP w Stanach Zjednoczonych, a operatorzy asystentów publikują zakresy własnej infrastruktury. Blokada geograficzna powinna więc mieć wyjątek dla zweryfikowanych robotów.

Które roboty powinny przejść przez zaporę

Przez zaporę powinny przechodzić przede wszystkim roboty, od których zależy obecność strony w odpowiedziach: roboty wyszukiwania asystentów oraz moduły pobierające stronę na życzenie użytkownika. Robot zbierający treści do uczenia modeli to osobna decyzja, którą lepiej wyrazić w robots.txt niż w zaporze.

Operatorzy rozdzielają te role na odrębne nazwy robotów. Zgodnie z dokumentacją robotów OpenAI OAI-SearchBot służy do pokazywania stron w wyszukiwaniu ChatGPT, ChatGPT-User odwiedza stronę, gdy użytkownik o coś zapyta, a GPTBot zbiera treści, które mogą posłużyć do uczenia modeli. Ta sama dokumentacja zaleca, aby dla obecności w wynikach zezwolić robotowi OAI-SearchBot w robots.txt i przepuścić żądania z opublikowanych zakresów jego adresów IP. Podobny podział stosują Perplexity i Anthropic.

Nazwa robotaOperatorDo czego służy
OAI-SearchBotOpenAIWyszukiwanie w ChatGPT
ChatGPT-UserOpenAIPobranie strony na życzenie użytkownika
GPTBotOpenAITreści, które mogą posłużyć do uczenia modeli
PerplexityBotPerplexityPokazywanie i linkowanie stron w wynikach Perplexity
Perplexity-UserPerplexityPobranie strony przy pytaniu użytkownika
Claude-SearchBotAnthropicPoprawa trafności wyników wyszukiwania
Claude-UserAnthropicPobranie strony, gdy wymaga tego pytanie użytkownika
ClaudeBotAnthropicTreści, które mogą posłużyć do uczenia modeli
Roboty asystentów AI i ich role według dokumentacji operatorów

W przypadku Google sprawa wygląda inaczej. Według dokumentacji obecnością w Przeglądzie od AI i Trybie AI steruje się regułami dla zwykłego Googlebota, więc zapora, która go przepuszcza, niczego tu nie psuje. Z kolei Google-Extended, którym steruje się wykorzystaniem treści w Gemini, nie jest osobnym robotem: jak podaje lista typowych robotów Google, nie ma on własnego ciągu klienta użytkownika w żądaniu HTTP i istnieje wyłącznie jako słowo w pliku robots.txt. Reguła zapory dopasowana do nazwy „Google-Extended” nie zadziała więc nigdy.

Jak rozpoznać blokadę po kodach 403 i wyzwaniach w logach

Blokadę rozpoznaje się po tym, że ten sam adres strony zwraca kod 200 zwykłej przeglądarce, a robotowi kod 403, 429 lub 503, albo kod 200 z bardzo małym, zawsze identycznym rozmiarem odpowiedzi. Wystarczy przefiltrować logi po nazwach robotów z tabeli powyżej i zestawić kody odpowiedzi.

Trzeba przy tym wiedzieć, w których logach szukać. Jeżeli odmowy udziela CDN lub zapora przed serwerem, żądanie nie dociera do hostingu i w logach serwera nie zostaje po nim ślad. Właściwe zapisy znajdują się wtedy w dzienniku zdarzeń zabezpieczeń w panelu usługi, zwykle z nazwą reguły, która zadziałała. Jak czytać same logi serwera, opisujemy we wpisie o robotach AI w logach serwera.

Uproszczone wiersze logu: różne kody odpowiedzi dla przeglądarki i dla robotów (adresy IP przykładowe)
203.0.113.24 "GET /oferta/ HTTP/2" 200 48210 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ... Safari/537.36"
192.0.2.15   "GET /robots.txt HTTP/2" 403 5124 "... compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot"
192.0.2.15   "GET /oferta/ HTTP/2" 403 5124 "... compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
198.51.100.7 "GET /blog/ HTTP/2" 503 6890 "... compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot"

Co oznaczają poszczególne kody

Kod 403 to wprost odmowa dostępu. Jeżeli pojawia się przy wszystkich adresach pobieranych przez danego robota, łącznie z plikiem robots.txt, a rozmiar odpowiedzi jest za każdym razem taki sam, niemal na pewno jest to strona blokady wystawiona przez zaporę lub wtyczkę. Inne przyczyny tego kodu opisaliśmy we wpisie o kodzie 403 i Googlebocie.

Kod 429 oznacza przekroczenie limitu żądań: kilka poprawnych odpowiedzi 200, a po nich seria 429 dla tego samego adresu IP. Kod 503 bywa zwracany razem ze stroną wyzwania. Z naszych obserwacji wynika, że zależnie od usługi wyzwanie może mieć kod 403, 503, a czasem nawet 200. Ten ostatni przypadek zdradza rozmiar: prawdziwe podstrony różnią się wagą, a strona wyzwania ma zawsze niemal tę samą liczbę bajtów.

Dla Google skutki tych kodów są udokumentowane. Strona o wpływie kodów stanu HTTP na roboty Google podaje, że treść spod adresów zwracających kody z grupy 4xx nie jest wykorzystywana, a zaindeksowane adresy, które zaczęły zwracać taki kod, są z czasem usuwane z indeksu. Kody 5xx oraz 429 Google traktuje jako sygnał przeciążenia i spowalnia skanowanie. Zapora, która przez pomyłkę odpowiada Googlebotowi kodem 403, szkodzi więc całej widoczności w wyszukiwarce.

Strona dokumentacji Google opisująca, jak kody stanu HTTP, w tym 403, 429 i 503, wpływają na roboty Google
Dokumentacja Google o tym, jak roboty traktują poszczególne kody odpowiedzi serwera.

Osobno trzeba spojrzeć na plik robots.txt. Z dokumentu o interpretacji specyfikacji robots.txt przez Google wynika, że błąd z grupy 4xx (poza 429) przy pobieraniu tego pliku oznacza dla Google brak ograniczeń skanowania. Natomiast błąd 5xx powoduje, że przez pierwsze 12 godzin Google wstrzymuje skanowanie witryny, a przez kolejne 30 dni posługuje się ostatnią zapamiętaną wersją. Wyzwanie z kodem 503 na adresie robots.txt potrafi zatem zatrzymać skanowanie całego serwisu, mimo że sam plik jest poprawny.

Lista objawów, po których w logach widać, że zapora lub CDN blokuje roboty AI: kody 403, 429, 503 i wyzwania
Sygnały w logach i panelach, które wskazują na cichą blokadę robotów asystentów.

Na koniec zastrzeżenie: nazwę robota w nagłówku każdy może wpisać dowolnie. Zanim uzna się serię odmów za błąd ochrony, należy potwierdzić, że adres IP faktycznie należy do operatora, co opisujemy we wpisie o weryfikacji adresów IP robotów AI. Odmowa dla podszywającego się automatu to poprawne działanie zapory, a nie usterka.

Jak sprawdzić blokadę, gdy nie ma dostępu do logów

Bez logów blokadę da się wykryć próbnym żądaniem z nagłówkiem robota oraz testem w Search Console. Żadna z tych metod nie zastępuje logów, ale razem dają wiarygodny obraz w kilkanaście minut.

Próbne żądanie z nagłówkiem robota

Narzędzie curl, dostępne w wierszu poleceń większości systemów, pozwala wysłać żądanie z dowolnym nagłówkiem klienta. Wystarczy porównać odpowiedź na zwykłe żądanie z odpowiedzią na żądanie podpisane nazwą robota. Jeśli pierwsze kończy się kodem 200, a drugie kodem 403, w którejś warstwie działa reguła dopasowana do nazwy.

Porównanie odpowiedzi serwera dla przeglądarki i dla żądania z nazwą robota (adres przykładowy)
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" https://www.przyklad.pl/oferta/

curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://www.przyklad.pl/oferta/

Ten test ma ważne ograniczenie. Żądanie wychodzi z Państwa adresu IP, a nie z adresu operatora, więc pokazuje wyłącznie reguły oparte na nazwie. Dobrze ustawiona zapora, która wpuszcza robota tylko z oficjalnych adresów, słusznie odrzuci taką próbę. Odwrotnie też: kod 200 w teście nie wyklucza blokady opartej na adresach IP centrów danych. Wynik jest więc wskazówką, gdzie szukać, a rozstrzygnięcie daje dopiero dziennik zdarzeń zapory.

Test w Search Console

Dla Googlebota wiarygodnego testu dostarcza samo Google, bo żądanie wychodzi wtedy z prawdziwej infrastruktury. W Search Console należy wpisać adres podstrony w polu sprawdzania adresów URL u góry ekranu, a następnie użyć przycisku uruchamiającego test wersji opublikowanej. Zgodnie z pomocą narzędzia do sprawdzania adresów URL w wynikach znajduje się pole „Pobieranie strony” z wartością „Udało się” albo „Niepowodzenie” wraz z przyczyną, a podgląd przetestowanej strony pokazuje zwrócony kod HTML, nagłówki HTTP i zrzut ekranu. Jeżeli na zrzucie widać komunikat o weryfikacji przeglądarki zamiast oferty, zapora zatrzymuje nawet Googlebota.

Drugim miejscem jest raport, do którego prowadzi ścieżka Ustawienia, a dalej „Statystyki indeksowania”. Według pomocy Search Console sekcja „Odpowiedzi na żądania robota indeksującego” pokazuje udział poszczególnych kodów, a sekcja „Stan hosta” obejmuje trzy pozycje: „Pobieranie pliku robots.txt”, „Rozpoznawanie nazw DNS” i „Połączenie z serwerem”. Wzrost udziału odpowiedzi 403, który zbiega się w czasie ze zmianą ustawień zabezpieczeń, to mocna poszlaka. Google samo zwraca na to uwagę: na stronie o funkcjach opartych na AI wśród podstawowych czynności wymienia sprawdzenie, czy indeksowanie jest dozwolone w pliku robots.txt oraz przez sieć CDN lub infrastrukturę hostingową.

Jeśli chcą Państwo zamówić SEO techniczne, zachęcamy do kontaktu: tel. 222 500 844 lub mailowo: biuro@pozycjonowaniestron.pl

Jak ustawić wyjątek dla robotów AI w zaporze i sieci CDN

Wyjątek ustawia się jako regułę zezwalającą, która łączy dwa warunki naraz: nazwę robota w nagłówku klienta oraz adres źródłowy należący do zakresów opublikowanych przez operatora. Reguła musi zostać umieszczona przed regułami blokującymi, bo zapory przetwarzają je po kolei.

Taką konstrukcję zaleca wprost dokumentacja robotów Perplexity. Operator uprzedza w niej, że przy korzystaniu z WAF może być konieczne wyraźne zezwolenie dla obu jego robotów, i opisuje regułę z dwoma warunkami: nagłówek zawiera nazwę robota oraz adres IP mieści się w zakresach z oficjalnych plików JSON. Zaleca też nadać tej regule wyższy priorytet niż regułom blokującym, pobierać pliki JSON okresowo w sposób zautomatyzowany i po każdej zmianie obserwować logi.

  1. Ustalenie, która warstwa odmawia

    W dzienniku zdarzeń zabezpieczeń należy odszukać żądania robota i odczytać nazwę reguły lub funkcji, która je zatrzymała. Bez tego łatwo ustawić wyjątek w zaporze, podczas gdy blokuje wtyczka WordPressa.

  2. Pobranie oficjalnych list adresów

    OpenAI, Perplexity i Anthropic publikują zakresy adresów swoich robotów w plikach JSON wskazanych w dokumentacji. Z list tych tworzy się w zaporze osobne zbiory adresów.

  3. Utworzenie reguły z dwoma warunkami

    Warunek pierwszy dotyczy nazwy robota w nagłówku, drugi przynależności adresu do zbioru. Działanie reguły to zezwolenie lub pominięcie pozostałych zabezpieczeń.

  4. Ustawienie kolejności

    Reguła zezwalająca powinna stać wyżej niż blokada krajów, limity żądań i wyzwania. Warto sprawdzić w dokumentacji usługi, które funkcje ochronne w ogóle respektują wyjątki.

  5. Kontrola po wdrożeniu

    Po kilku dniach należy wrócić do logów i potwierdzić, że roboty otrzymują kod 200 także dla pliku robots.txt.

Logika pary reguł zapisana opisowo (składnia zależy od usługi)
WARUNEK   User-Agent zawiera "OAI-SearchBot"
          ORAZ adres IP należy do zbioru z pliku searchbot.json
DZIAŁANIE zezwolenie z pominięciem ochrony przed botami,
          blokady krajów i wyzwania

WARUNEK   User-Agent zawiera "OAI-SearchBot"
          ORAZ adres IP NIE należy do tego zbioru
DZIAŁANIE blokada (podszywanie się pod robota)
Kolejność ustawiania wyjątku dla robotów AI w zaporze i CDN: od ustalenia warstwy po kontrolę logów
Pięć czynności, które prowadzą do bezpiecznego wyjątku dla zweryfikowanych robotów.

Wyjątek oparty wyłącznie na nazwie robota byłby furtką: każdy automat, który wpisze sobie „GPTBot” w nagłówku, ominąłby wszystkie zabezpieczenia. Dlatego druga reguła odrzuca znaną nazwę z obcego adresu. Po zmianie reguł efekt nie będzie natychmiastowy: OpenAI podaje, że dostosowanie wyników wyszukiwania po zmianie w robots.txt zajmuje około 24 godzin, a Perplexity mówi o okresie do 24 godzin.

Wtyczki bezpieczeństwa WordPressa i zabezpieczenia hostingu

Wtyczki bezpieczeństwa WordPressa blokują roboty AI tymi samymi metodami co zapora w CDN, tylko później: żądanie dociera do serwera, uruchamia WordPressa i dopiero wtyczka zwraca odmowę. Dzięki temu ślad zostaje w logach hostingu, ale przyczynę trzeba odszukać w ustawieniach wtyczki.

W panelu WordPressa warto przejrzeć kilka miejsc, które w różnych wtyczkach noszą podobne nazwy: listę zablokowanych nagłówków klienta, często wypełnioną gotowym zestawem „złych botów”, ograniczanie liczby żądań z osobnym progiem dla robotów, blokadę krajów oraz dziennik ruchu, w którym przy każdej odmowie podany jest powód. Ten ostatni najszybciej odpowiada na pytanie, czy wtyczka ma z problemem coś wspólnego. Osobną grupą są wtyczki z przełącznikiem, który celowo dopisuje robotom AI zakazy w wirtualnym pliku robots.txt albo odsyła im kod 403. Jeżeli obecność w odpowiedziach asystentów stała się celem firmy, taki przełącznik trzeba odszukać i wyłączyć.

Zabezpieczenia po stronie hostingu

Najtrudniejsza do wykrycia jest blokada na poziomie hostingu, ponieważ właściciel strony zwykle nie ma do niej wglądu. Firmy hostingowe stosują własne zapory serwerowe i mechanizmy, które po serii żądań czasowo blokują adres IP. Z naszych obserwacji wynika, że objawem jest odmowa widoczna w logach, której nie tłumaczy ani CDN, ani żadna wtyczka.

W takiej sytuacji pozostaje zgłoszenie do pomocy technicznej z godzinami kilku odmów, adresami IP robota, jego nazwą z nagłówka oraz odnośnikiem do oficjalnej listy adresów operatora. Prośba powinna dotyczyć wyjątku dla konkretnych zakresów, a nie wyłączenia ochrony. Hipotetyczna kancelaria z Krakowa na hostingu współdzielonym może usłyszeć, że reguł nie da się zmienić dla pojedynczego klienta. Wtedy wyjściem bywa zmiana pakietu albo dostawcy, czyli starannie zaplanowana migracja hostingu.

Jak pogodzić ochronę serwera z widocznością w odpowiedziach AI

Ochronę i widoczność godzi się przez rozdzielenie ról: robots.txt wyraża decyzję biznesową, których robotów firma sobie życzy, a zapora broni serwera przed ruchem, który się do tej decyzji nie stosuje albo podszywa pod cudze nazwy. Zweryfikowany robot nie powinien być zatrzymywany tylko dlatego, że jest automatem.

Nie oznacza to rezygnacji z kontroli obciążenia. Jeżeli robot pobiera zbyt wiele stron naraz, lepszym narzędziem niż trwała blokada jest spowolnienie. Anthropic deklaruje obsługę niestandardowej dyrektywy Crawl-delay w robots.txt, która ogranicza częstotliwość żądań jego robotów. W przypadku Google dokumentacja o rozwiązywaniu problemów ze skanowaniem dopuszcza w sytuacji awaryjnej czasowe zwracanie kodu 503 lub 429, z zastrzeżeniem, że utrzymywanie ich dłużej niż dwa dni może skończyć się usuwaniem adresów z indeksu. Kodów 401 i 403 Google odradza jako sposobu na ograniczanie tempa skanowania. O limitach piszemy szerzej we wpisie o kodzie 429.

Przykład robots.txt: decyzje zapisane jawnie, bez udziału zapory
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /koszyk/

User-agent: GPTBot
Disallow: /

Zapora ma w tym modelu dwa zadania: przepuścić wszystkie wymienione roboty do pliku robots.txt i do stron, które plik im udostępnia, oraz zatrzymać ruch, który używa tych nazw z obcych adresów. Plik musi być dostępny także dla robota, któremu zakazuje wszystkiego, ponieważ inaczej robot nie pozna zakazu. Wyjątki nie powinny też obejmować więcej, niż potrzeba: reguła zezwalająca może pomijać ochronę przed botami i wyzwanie, a mimo to pozostawiać w mocy reguły chroniące panel logowania, formularze i koszyk. Porządkowanie takich reguł jest stałym elementem prac w ramach usługi pozycjonowania AI.

Typowe pomyłki i sytuacje, w których potrzebna jest pomoc

Najczęstszą pomyłką jest szukanie przyczyny w treści strony, podczas gdy roboty w ogóle jej nie widzą. Firma przepisuje teksty i czeka na cytowania, a tymczasem każde żądanie asystenta kończy się odmową na zaporze. Dlatego kontrolę dostępu robotów zalecamy wykonać przed jakąkolwiek pracą nad treścią.

Pozostałe pomyłki powtarzają się równie często: wyłączenie całej ochrony „na próbę” i pozostawienie jej wyłączonej, wyjątek oparty na samej nazwie robota, jednorazowe przepisanie adresów IP bez mechanizmu aktualizacji, poprawienie reguł w jednej warstwie, mimo że tę samą odmowę powtarza wtyczka lub hosting, oraz test wykonany wyłącznie na stronie głównej, która bywa podawana z pamięci podręcznej CDN, podczas gdy podstrony przechodzą przez pełny zestaw reguł.

  • Plik robots.txt zwraca kod 200 każdemu robotowi, także temu, któremu zakazuje dostępu.
  • W dzienniku zapory nie ma odmów dla zweryfikowanych adresów robotów wyszukiwania asystentów.
  • Reguła zezwalająca łączy nazwę robota z oficjalnym zakresem adresów IP i stoi przed regułami blokującymi.
  • Listy adresów operatorów są odświeżane okresowo, najlepiej automatycznie.
  • Blokada krajów i limity żądań mają wyjątek dla zweryfikowanych robotów.
  • Wtyczka bezpieczeństwa WordPressa i hosting nie powtarzają blokady zdjętej w CDN.
  • Test w Search Console pokazuje prawdziwą treść strony, a nie ekran weryfikacji.

Pomoc specjalisty jest potrzebna przede wszystkim wtedy, gdy na stronie działa kilka warstw ochrony utrzymywanych przez różne osoby, gdy serwis był w przeszłości atakowany i zespół obawia się zmieniać reguły, oraz gdy odmowy dotykają również Googlebota. Przegląd dostępności strony dla robotów wykonujemy jako część usługi SEO technicznego, a w szerszym zakresie w ramach audytu SEO. Nie obiecujemy przy tym, że po zdjęciu blokady strona zacznie być cytowana, ponieważ o doborze źródeł decydują asystenci. Dostęp dla robotów jest jedynie warunkiem koniecznym.

Jeśli chcą Państwo zamówić SEO techniczne, zachęcamy do kontaktu: tel. 222 500 844 lub mailowo: biuro@pozycjonowaniestron.pl

Najczęstsze pytania

Czy sama sieć CDN blokuje roboty AI?

Sama sieć dostarczania treści niczego nie blokuje, robią to włączone w niej funkcje ochronne: zapora, ochrona przed botami, wyzwania i limity. Warto je przejrzeć zaraz po uruchomieniu usługi, bo część bywa aktywna domyślnie.

Czy wpis Allow w robots.txt wystarczy, aby robot AI mógł pobrać stronę?

Nie wystarczy. Plik robots.txt informuje robota, co wolno mu pobierać, ale nie ma wpływu na zaporę, która działa niezależnie. Jeżeli zapora zwraca kod 403, robot nie pobierze ani strony, ani samego pliku z zezwoleniem.

Skąd wziąć adresy IP prawdziwych robotów asystentów?

Z dokumentacji operatorów. OpenAI, Perplexity i Anthropic publikują zakresy adresów w plikach JSON, a Google udostępnia listy dla swoich robotów i modułów pobierania. Adresów nie należy przepisywać z cudzych zestawień, ponieważ zakresy się zmieniają.

Czy przepuszczenie robotów AI osłabia bezpieczeństwo strony?

Nie, jeżeli wyjątek łączy nazwę robota z oficjalnym zakresem adresów IP i nie obejmuje panelu logowania ani formularzy. Ryzykowny jest wyjątek oparty wyłącznie na nazwie, którą każdy automat może sobie wpisać.

Po jakim czasie od zdjęcia blokady strona wróci do odpowiedzi asystentów?

Tego nie da się określić z góry. Ponowne pobranie podstron zależy od harmonogramu robota, a o cytowaniu decyduje asystent. Pierwszym miarodajnym sygnałem są odpowiedzi z kodem 200 dla robotów w logach.

Dlaczego w logach serwera nie widać żadnych robotów AI?

Możliwości są dwie: roboty rzeczywiście nie odwiedzają strony albo są zatrzymywane przed serwerem, w sieci CDN lub zaporze, i ich żądania nie docierają do hostingu. Rozstrzyga to dziennik zdarzeń zabezpieczeń w panelu usługi.

Źródła

  1. Overview of OpenAI Crawlers, OpenAI
  2. Perplexity Crawlers, Perplexity
  3. Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic
  4. Jak kody stanu HTTP wpływają na roboty Google, Google
  5. Jak Google interpretuje specyfikację pliku robots.txt, Google
  6. Typowe roboty Google, Google
  7. Funkcje oparte na AI a Twoja witryna, Google
  8. Raport Statystyki indeksowania, Pomoc Search Console
  9. Narzędzie do sprawdzania adresów URL, Pomoc Search Console
  10. Rozwiązywanie problemów z błędami indeksowania w wyszukiwarce Google, Google

Funkcje wyszukiwarek i asystentów AI zmieniają się szybko, dlatego wpis aktualizujemy po większych zmianach.

Łukasz Wudyka

Specjalista SEO i programista. Agencję założył w Krakowie w 2016 roku, dziś firma ma oddziały w 7 miastach. Zajmuje się widocznością firm w Google i w odpowiedziach AI oraz ochroną dobrego imienia ludzi i firm w sieci. Komentuje dla mediów sprawy wyszukiwarek, reputacji i hejtu. Więcej o autorze: lukaszwudyka.pl

Napisz komentarz, a po zatwierdzeniu dostaniesz pierwszą rangę: Nowicjusz

Zostaw pierwszy komentarz

Konsultacja ze specjalistą

Plan dla Państwa strony zamiast ogólnej oferty

Na konsultacji specjalista SEO omówi Państwa stronę, jej widoczność i konkurencję. Otrzymają Państwo listę pierwszych kroków.

  • Wstępna ocena stronyWskazujemy błędy techniczne i braki w treściach, które dziś ograniczają widoczność.
  • Analiza ruchu i konkurencjiPokazujemy frazy, na których najszybciej można zyskać.
  • Plan pierwszych miesięcyKolejność prac dopasowana do branży, konkurencji i budżetu.

Wolą Państwo porozmawiać?

Pola oznaczone gwiazdką (*) są wymagane.