BingBot – zbyt intensywne indeksowanie
Czym jest BingBot?
BingBot to internetowy robot indeksujący, używany przez wyszukiwarkę Bing do przeszukiwania i zbierania informacji z witryn internetowych. Jego zadaniem jest odwiedzanie stron WWW, analizowanie ich zawartości i zapisywanie zebranych informacji w indeksie Bing. Dzięki temu wyszukiwarka Bing może dostarczać aktualne i odpowiednie wyniki użytkownikom, którzy szukają informacji online. BingBot jest jednym z wielu „botów” używanych przez wyszukiwarki do indeksowania stron internetowych i jest odpowiednikiem GoogleBot, który wykonuje tę samą funkcję dla wyszukiwarki Google.
Jak działa BingBot?
BingBot działa według ustalonych algorytmów i instrukcji, które kierują jego działaniem podczas indeksowania stron. Główne kroki, jakie wykonuje, to:
- Odwiedzanie stron – BingBot regularnie odwiedza strony internetowe, zaczynając od tych najpopularniejszych i najczęściej aktualizowanych.
- Pobieranie zawartości – Gdy bot odwiedza stronę, pobiera jej zawartość, analizując tekst, obrazy, linki i inne elementy.
- Analiza i indeksacja – Zebrane informacje są następnie analizowane pod kątem jakości, unikalności i zgodności z wytycznymi. Na podstawie tej analizy, zawartość strony jest dodawana do indeksu wyszukiwarki Bing.
- Aktualizacja informacji – BingBot regularnie wraca na strony internetowe, aby sprawdzić, czy ich zawartość została zaktualizowana. Jeśli tak, aktualizuje swoje dane, aby w wynikach wyszukiwania pojawiały się najnowsze informacje.
Jeśli korzystasz z CMS PrestaShop na dedykowanym serwerze VPS, mogłeś zauważyć, że robot indeksujący Bing, czyli BingBot (bingbot/2.0), może czasami zbyt agresywnie przeszukiwać twoją stronę. Taka intensywność odwiedzin może powodować nadmierne obciążenie serwera, co z kolei może prowadzić do zawieszania się procesu HTTPD (serwera Apache) i całkowitego przestania działania strony. Całkowita blokada BingBot mogłaby rozwiązać problem przeciążenia, ale jednocześnie obniżyłaby widoczność twojej strony w wynikach wyszukiwania Bing. W takim przypadku najlepszym rozwiązaniem jest dostosowanie częstotliwości indeksowania przez BingBot. W artykule przedstawiamy kroki, które pozwolą ci kontrolować, jak często robot Bing odwiedza twoją stronę.
1. Zweryfikuj swoją stronę w narzędziach dla webmasterów Bing
Aby móc dostosować ustawienia indeksowania, najpierw musisz zweryfikować swoją stronę w Bing Webmaster Tools. Proces weryfikacji wymaga dodania kodu weryfikacyjnego do twojej strony, co można zrobić na kilka sposobów:
- Dodanie tagu meta do kodu źródłowego strony (na głównej stronie PrestaShop).
- Wgranie pliku HTML do głównego katalogu serwera.
- Alternatywnie, możesz skorzystać z Google Search Console, jeśli twoja strona jest tam już zweryfikowana – Bing umożliwia import ustawień z GSC.
2. Znajdź opcję Kontrola przeszukiwania w Bing Webmaster Tools
Po zakończeniu weryfikacji, przejdź do panelu Bing Webmaster Tools i wybierz swoją stronę. Następnie:
Wejdź do zakładki Konfiguracja.
Wybierz Kontrola przeszukiwania.
Ustaw spowolnienie przeszukiwania
W sekcji Kontrola przeszukiwania możesz zmienić intensywność odwiedzin BingBot. Zazwyczaj opcje pozwalają na:
Zmniejszenie szybkości przeszukiwania – co redukuje liczbę żądań wysyłanych przez BingBot na twoją stronę w określonym czasie. Dzięki temu bot będzie mniej obciążał serwer.
Dostosowanie harmonogramu indeksowania – umożliwia ustalenie, kiedy BingBot może przeszukiwać stronę intensywniej, a kiedy wolniej (np. w godzinach nocnych, gdy ruch na stronie jest mniejszy).
Ustawienia te pomogą ci dostosować aktywność BingBot tak, aby nie wpływała negatywnie na wydajność serwera.
