OpenAI korzysta z kilku robotów i agentów, które mają różne zadania. Aby zrozumieć, czym różni się każdy bot, trzeba oddzielić pobieranie na potrzeby wyszukiwania, potencjalne indeksowanie treści przez różne systemy i żądanie użytkownika. Najważniejsza decyzja nie brzmi więc „czy wpuścić ChatGPT”, lecz któremu agentowi udostępnić jakie treści i w jakim celu. OAI-SearchBot odpowiada za funkcje wyszukiwania, GPTBot dotyczy potencjalnego wykorzystania treści do trenowania bazowych modeli generatywnych, a ChatGPT-User realizuje wybrane działania inicjowane przez użytkownika.
Prawidłowe rozdzielenie tych ról pozwala udostępnić publiczną ofertę w wynikach wyszukiwania ChatGPT bez automatycznej zgody na użycie jej przez GPTBot. Sam dostęp robota nie gwarantuje jednak wyświetlenia, cytowania, pozycji ani ruchu.
Którego robota OpenAI dopuścić? Najkrótsza odpowiedź
Dla typowej publicznej witryny firmowej rozsądnym punktem wyjścia jest dopuszczenie OAI-SearchBot i osobna decyzja dotycząca GPTBot. Konfiguracja botów OpenAI nie powinna być jedną zbiorczą zgodą: nie trzeba otwierać dostępu wszystkim agentom OpenAI.
| Agent | Główna funkcja | Czy służy do ChatGPT Search? | Jak traktować w robots.txt? |
|---|---|---|---|
| OAI-SearchBot | automatyczne pobieranie treści na potrzeby funkcji wyszukiwania ChatGPT | tak | dopuścić, jeśli witryna ma kwalifikować się do pokazania w odpowiedziach wyszukiwania |
| GPTBot | pobieranie treści, które mogą zostać użyte do ulepszania i trenowania bazowych modeli generatywnych | nie jest mechanizmem zarządzania Search | dopuścić lub zablokować zgodnie z polityką firmy |
| ChatGPT-User | wybrane wizyty wywołane działaniem użytkownika w ChatGPT lub Custom GPT | nie decyduje o obecności w Search | nie traktować jak automatycznego crawlera; OpenAI zastrzega, że reguły robots.txt mogą nie mieć zastosowania |
| OAI-AdsBot | kontrola stron docelowych zgłoszonych do reklam w ChatGPT | nie | dotyczy wyłącznie stron przesłanych jako reklamy |
Role botów OpenAI oraz aktualne przykłady identyfikatorów opisuje oficjalna dokumentacja robotów OpenAI. To ona powinna być źródłem konfiguracji, ponieważ numery wersji i zakresy adresów IP mogą się zmieniać.
OAI-SearchBot, GPTBot i ChatGPT-User pełnią różne funkcje
OAI-SearchBot udostępnia treść funkcjom wyszukiwania
OAI-SearchBot jest crawlerem przeznaczonym do funkcji wyszukiwania w ChatGPT. Ten crawler nie tworzy dla właściciela strony gwarancji indeksowania ani obecności w wynikach wyszukiwania. OpenAI zaleca nie tylko dopuścić token OAI-SearchBot w robots.txt, lecz także zezwolić w hostingu, zaporze lub CDN na ruch z publikowanych zakresów IP SearchBota.
Witryna wyłączona dla OAI-SearchBot nie będzie pokazywana w treści odpowiedzi wyszukiwania ChatGPT. Może jednak nadal pojawić się jako link nawigacyjny, na przykład gdy adres zostanie pozyskany z innego źródła. Blokada robota nie jest zatem równoznaczna z usunięciem każdej wzmianki o domenie.
GPTBot dotyczy potencjalnego treningu modeli
GPTBot pobiera treści, które mogą zostać użyte do ulepszania i trenowania bazowych modeli generatywnych OpenAI. Dyrektywa Disallow dla GPTBot informuje, że zawartość witryny nie powinna zostać wykorzystana w tym celu.
Ustawienie GPTBot jest niezależne od OAI-SearchBot. To pokazuje, czym różni się polityka treningu modelu od dostępu do wyszukiwania. Można zablokować GPTBot, a jednocześnie pozostawić publiczne strony dostępne dla funkcji wyszukiwania ChatGPT. OpenAI zaznacza jedynie, że gdy oba roboty są dopuszczone, może wykorzystać rezultat jednego pobrania do obu dozwolonych zastosowań, aby nie dublować ruchu.
ChatGPT-User nie jest automatycznym crawlerem
ChatGPT-User może odwiedzić stronę, gdy użytkownik ChatGPT lub Custom GPT uruchomi działanie wymagające pobrania konkretnego adresu. Nie służy do automatycznego skanowania sieci i nie określa, czy treść może pojawić się w Search. Ponieważ jest to żądanie użytkownika, OpenAI wskazuje, że robots.txt może nie mieć zastosowania.
To ważne ograniczenie: robots.txt nie jest zabezpieczeniem poufnych materiałów. Dane niepubliczne należy chronić uwierzytelnianiem i kontrolą uprawnień, a nie samą dyrektywą dla robota.
Jak ustawić robots.txt dla czterech różnych polityk firmy
Poniższe przykłady pokazują intencję polityki. Przed wdrożeniem trzeba uwzględnić istniejące grupy User-agent, reguły globalne i sposób generowania robots.txt przez WordPress, wtyczkę SEO lub serwer.
Widoczność w wynikach wyszukiwania ChatGPT bez udostępniania treści GPTBot
To częsty wariant dla firmy, która chce pozostawić publiczną ofertę dostępną w wyszukiwaniu, ale nie chce dopuścić GPTBot.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Dopuszczenie wyszukiwania i GPTBot
Jeżeli firma akceptuje oba zastosowania, może nie dodawać odrębnej blokady lub jawnie zapisać:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
Blokada obu automatycznych robotów
Ten wariant wyłącza witrynę z treści odpowiedzi wyszukiwania ChatGPT i sygnalizuje brak zgody dla GPTBot. Nie gwarantuje jednak, że domena nigdy nie pojawi się jako link nawigacyjny.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
Dostęp tylko do wybranych katalogów
Można udostępnić publiczny blog lub bazę wiedzy i zablokować obszary techniczne. Reguły muszą odpowiadać rzeczywistej strukturze adresów:
User-agent: OAI-SearchBot
Disallow: /
Allow: /blog/
Allow: /baza-wiedzy/
User-agent: GPTBot
Disallow: /
W tej grupie bardziej szczegółowe reguły Allow otwierają wskazane katalogi mimo ogólnej blokady Disallow: /. Trzeba przetestować rzeczywiste adresy i zasoby potrzebne do odczytania tych stron. Nie należy traktować przykładu jako ochrony panelu klienta. Panel nadal wymaga logowania, prawidłowych uprawnień oraz zabezpieczeń aplikacji.
Dopuszczenie OAI-SearchBot usuwa barierę, ale nie zapewnia pozycji
Według pomocy dotyczącej ChatGPT Search wyniki są ustalane na podstawie wielu czynników związanych z trafnością i wiarygodnością, a miejsce nie jest gwarantowane. Dopuszczenie OAI-SearchBot i jego adresów IP sprawia jedynie, że strona może kwalifikować się do użycia w odpowiedziach ChatGPT. Nie jest to obietnica indeksowania ani miejsca w wynikach wyszukiwania. To pokazuje, czym różni się dostęp techniczny od efektu widoczności.
Nie można na tej podstawie obiecać:
- że robot odwiedzi każdy adres URL;
- że powstanie stała pozycja odpowiadająca rankingowi Google;
- że treść zostanie zacytowana dla określonego pytania;
- że marka zostanie zarekomendowana;
- że pojawi się mierzalny ruch lub sprzedaż.
Po zmianie robots.txt systemy OpenAI mogą potrzebować około 24 godzin na uwzględnienie nowych reguł. Ten czas dotyczy przetworzenia polityki dostępu, a nie obietnicy crawlowania, indeksacji lub widoczności w ciągu doby.
Jak sprawdzić, czy robot rzeczywiście może pobrać stronę
Sam poprawny zapis w robots.txt nie wystarczy. Każdy crawler może zostać zatrzymany na innej warstwie infrastruktury, dlatego najczęstsze błędy botów OpenAI trzeba sprawdzać także poza samym plikiem.
- Otwórz robots.txt bezpośrednio. Sprawdź kod HTTP, przekierowania oraz wszystkie grupy dotyczące OAI-SearchBot, GPTBot i User-agent: *.
- Zweryfikuj WAF, CDN i hosting. Cloudflare, firewall lub ochrona antybotowa mogą zwracać kod 403, CAPTCHA albo stronę pośrednią mimo reguły Allow.
- Korzystaj z aktualnych zakresów IP. Nie kopiuj adresów na stałe z artykułu. Porównuj logi serwera z plikami JSON publikowanymi przez OpenAI dla OAI-SearchBot i GPTBot.
- Sprawdź odpowiedź dla kluczowych adresów. Publiczna podstrona powinna zwracać właściwy kod 200 i istotną treść, a nie ekran logowania, błąd 5xx, pętlę przekierowań lub pusty szkielet.
- Przejrzyj HTML dostępny bez interakcji. Najważniejsze informacje o ofercie, firmie i warunkach powinny istnieć w czytelnej warstwie tekstowej. Nie warto zakładać, że każdy agent poprawnie wykona rozbudowany JavaScript lub przejdzie nietypową interakcję.
- Przeanalizuj logi serwera. Nazwę user-agenta łatwo sfałszować, dlatego zestaw ją z adresem IP, ścieżką, czasem żądania i kodem odpowiedzi. Logi serwera pomagają odróżnić deklarowany user-agent od ruchu pochodzącego z aktualnych zakresów OpenAI; ten etap powinien być częścią okresowego audytu botów OpenAI.
Żądanie wykonane narzędziem curl z samodzielnie ustawionym nagłówkiem user-agent może ujawnić część blokad, ale nie potwierdza dostępu prawdziwego robota. Zapytanie pochodzi wtedy z innego adresu IP, dlatego wniosek powinny uzupełniać logi serwera.
Najczęstsze błędy w konfiguracji robotów OpenAI
- Kopiowanie pełnego identyfikatora przeglądarki. W robots.txt wystarcza token OAI-SearchBot lub GPTBot. Numer wersji w pełnym ciągu może się zmienić.
- Zezwolenie tylko w robots.txt. WAF może nadal odrzucać oficjalne zakresy IP.
- Dopuszczenie wyłącznie GPTBot. Nie jest to sposób na włączenie witryny do ChatGPT Search.
- Traktowanie OAI-SearchBot jak gwarancji cytowania. Dostęp techniczny jest warunkiem kwalifikacji, a nie wynikiem kampanii.
- Założenie, że ChatGPT-User zawsze respektuje robots.txt. Oficjalna dokumentacja mówi, że przy działaniach użytkownika reguły mogą nie mieć zastosowania.
- Ochrona poufnych treści samym robots.txt. Plik jest publiczny i nie zastępuje kontroli dostępu.
- Nadpisanie reguł WordPressa bez testu. Wirtualny robots.txt, wtyczka SEO, cache i reguły serwera mogą zwracać inną wersję niż edytowany plik.
Audyt widoczności w AI powinien obejmować więcej niż roboty
Konfiguracja crawlerów i kontrola botów OpenAI są jednym z elementów dostępności. Nawet poprawne Allow nie naprawi niejasnej oferty, sprzecznych danych o firmie, słabej struktury informacji ani treści, która nie odpowiada na pytanie użytkownika.
W ramach pozycjonowania w AI Olinet może sprawdzić techniczny dostęp do publicznych treści, ich strukturę i zrozumiałość, spójność informacji o firmie oraz punkt wyjścia widoczności dla uzgodnionej próbki zapytań. Zakres audytu, wdrożeń i monitoringu jest ustalany przed rozpoczęciem prac. Nie obejmuje gwarancji wzmianki, cytowania, pozycji ani sprzedaży.
Odpowiedzi na częste pytania o roboty OpenAI
Czy blokada GPTBot obniży widoczność w wyszukiwaniu ChatGPT?
Nie powinna, jeżeli OAI-SearchBot nadal ma dostęp. OpenAI opisuje te ustawienia jako niezależne: GPTBot dotyczy potencjalnego treningu modeli, a OAI-SearchBot funkcji wyszukiwania i potencjalnej obecności w odpowiedziach ChatGPT.
Czy muszę wpisać pełny agent string OAI-SearchBot?
Nie. W robots.txt stosuje się token User-agent: OAI-SearchBot. Pełny ciąg jest przydatny w analizie logów, ale jego numer wersji może się zmieniać.
Czy blokada OAI-SearchBot całkowicie usuwa domenę z ChatGPT?
Nie. Wyłącza użycie witryny w treści odpowiedzi wyszukiwania, ale OpenAI zastrzega możliwość pokazania samego linku nawigacyjnego i tytułu strony.
Czy po zmianie robots.txt zobaczę efekt po 24 godzinach?
OpenAI podaje około 24 godzin na dostosowanie systemów do zmiany reguł. Nie jest to termin pojawienia się strony w odpowiedziach ani gwarancja wizyty robota.
Czy robots.txt zabezpiecza materiały dostępne tylko dla klientów?
Nie. Do ochrony treści potrzebne są logowanie i kontrola uprawnień. Robots.txt przekazuje automatycznym narzędziom zasady dostępu, ale nie stanowi mechanizmu bezpieczeństwa.