Zaawansowany Generator robots.txt

Zaawansowany Generator robots.txt

– wszystko, co musisz wiedzieć przed kliknięciem „Pobierz”

Sitemap (może być kilka linii)

Wklejasz pełne adresy do sitemap.xml (np. sitemap-index.xml, sitemap-images.xml). To najważniejsza linijka w całym pliku – bez niej Google, Yandex i Bing mogą przegapić nawet 30% Twoich podstron.

Host (mirror)

Tylko dla Yandexa. Wskazujesz preferowaną wersję domeny (np. twojastrona.pl). Działa jak globalny canonical.

Dobre boty – pełny dostęp

Googlebot, Bingbot, YandexBot, DuckDuckBot, Baiduspider – zawsze Allow: / Opcjonalnie własny crawl-delay (Yandex i Baidu potrafią zalać serwer – 2 i 5 sekund to złoty standard 2025).

Blokada AI i agresywnych botów 2025

• GPTBot + ChatGPT-User → OpenAI (blokujesz = Twoje treści nie idą do treningu ChatGPT/Groka)
• ClaudeBot + anthropic-ai → Anthropic (Claude 3/3.5/4)
• PerplexityBot → Perplexity AI
• Applebot-Extended → Apple Intelligence (nowość 2025 – żre jak smok)
• CCBot + Bytespider + Amazonbot → Common Crawl, TikTok i Amazon (trenują 90% modeli AI)
• Zabroń wszystkim botom obrazków → Googlebot-Image i Bingbot-Image nie ściągają zdjęć (oszczędzasz transfer i chronisz grafiki przed kradzieżą przez AI)

Crawl-delay per bot

Yandex i Baidu ignorują globalny crawl-delay – trzeba ustawić osobno. 2 sekundy dla Yandexa i 5 dla Baidu = spokój na serwerze.

Clean-param

Usuwa śmieci z URL-i (fbclid, gclid, utm_*, ref, sessionid itp.). Czyste logi, mniej duplikatów w Google Search Console.

Blokada katalogów i ścieżek (dla wszystkich botów *)

Przykład:

/wp-admin/
/admin/
/private/
/cgi-bin/
*.pdf$
*?replytocom=
/tag/*/?sortby=

Obsługa wildcardów * i $ (koniec ścieżki) – dokładnie tak, jak lubią Google i Yandex.

Co włączyć ?

Ważna uwaga

robots.txt to tylko „grzeczna prośba”. Złe boty i tak wejdą. Do prawdziwej, twardej blokady po IP, klasach sieci i User-Agent używaj generatora .htaccess na Pro-Link.pl.

Generator działa 100% w Twojej przeglądarce – nic nie wysyłamy na serwer, zero logów, zero reklam.