Roboty AI dzielą się na dwie grupy i warto je rozróżniać. Jedne zbierają treść do trenowania modeli. Drugie wchodzą na stronę wtedy, gdy ktoś właśnie pyta asystenta o Twoją branżę. Zablokowanie tych drugich oznacza, że asystent nie ma skąd wziąć odpowiedzi.
Najważniejsze nazwy
OAI-SearchBot: wyszukiwarka w ChatGPTChatGPT-User: wejście na stronę na prośbę użytkownika ChatGPTGPTBot: zbieranie treści do trenowania modeli OpenAIClaudeBot: robot firmy AnthropicPerplexityBot: wyszukiwarka PerplexityGoogle-Extended: przełącznik decydujący, czy Google może użyć treści w Gemini (to nie osobny robot)
Rozsądne ustawienie dla firmy
Firma usługowa zwykle chce, żeby o niej mówiono. Wtedy wyszukiwarki AI i wejścia na prośbę użytkownika zostają otwarte. Decyzja o trenowaniu modeli należy do Ciebie: wydawca płatnych treści ma powód, żeby je blokować, a hydraulik z Poznania raczej nie.
Jak to zapisać
Każdy robot dostaje własny blok. Linia Allow: / wpuszcza, Disallow: / zamyka całą stronę:
User-agent: OAI-SearchBoti pod spodemAllow: /User-agent: GPTBoti pod spodemDisallow: /, jeśli nie chcesz trenowania
Plik leży w głównym folderze strony. W WordPressie często tworzy go wtyczka SEO i tam się go edytuje.
Na co uważać
robots.txt to prośba, a nie blokada. Uczciwe roboty jej słuchają, inne nie. Druga sprawa: zapora albo ochrona przed botami u dostawcy hostingu potrafi blokować roboty AI niezależnie od robots.txt. Wtedy w logach widać kod 403.
Sprawdź też, czy ktoś nie zostawił Disallow: / dla wszystkich robotów po czasie budowy strony. To się zdarza częściej, niż można by sądzić, i zamyka stronę także przed Google.
Co dokładnie jest u Ciebie ustawione, pokaże test gotowości na AI.
Czy zablokowanie GPTBot usuwa moją stronę z ChatGPT?
Nie. GPTBot dotyczy trenowania. Wyszukiwarka ChatGPT korzysta z OAI-SearchBot, a wejścia na prośbę użytkownika z ChatGPT-User.
Sprawdź, czy asystenci AI rozumieją Twoją stronę
Bezpłatny test trwa około minuty i pokazuje osiem rzeczy, od dostępu dla robotów AI po llms.txt. Bez rejestracji.
