Wyjaśnienie AhrefsBota: czy należy go zablokować, czy pozwolić mu indeksować?

Ostatnia aktualizacja: 01

Jeśli prowadzisz stronę internetową, z pewnością spotkałeś się ze słowem „Ahrefsbot” w dziennikach serwera lub raportach analityki internetowej. Czym jednak właściwie jest AhrefsBot i czy należy się obawiać jego obecności na Twojej stronie?

Ahrefsbot regularnie indeksuje Twoją witrynę. Zachowuje się jak Googlebot, wchodzi i znika, kiedy chce. Nie zawsze stanowi to problem, ale może być znacznie poważniejszy, jeśli przeciąża serwer i spowalnia witrynę.

Pytanie więc brzmi, gdzie na tym spektrum plasuje się Ahrefsbot?

Czy jest przyjacielem czy wrogiem Twojej witryny?

Odkryjmy!

Czym jest Ahrefsbot?

AhrefsBot to robot indeksujący sieć, obsługiwany przez Ahrefs, wiodącego na rynku producenta oprogramowania SEO. Ten bot nieustannie przeszukuje sieć, 24 godziny na dobę, 7 dni w tygodniu, aby tworzyć i aktualizować bazę linków zwrotnych, umożliwiając Ahrefs dostarczanie użytkownikom najdokładniejszych i najbardziej aktualnych danych.

Jest to jeden z najbardziej aktywnych robotów indeksujących w Internecie. Co minutę AhrefsBot przeszukuje 5 milionów stron internetowych. Według badań zewnętrznych przewyższa roboty Yahoo i Yandex i jest niewątpliwie najbardziej aktywnym robotem spośród innych Dostawcy narzędzi SEO. 

Ahrefsbot sprawdził się wyjątkowo dobrze w swojej roli, pomagając firmie znaleźć się na szczycie branży, osiągając roczny przychód cykliczny (ARR) na poziomie 100 milionów dolarów do 2023 roku.

Bot indeksuje aktualne i wiarygodne informacje o stronach internetowych, ich zawartości oraz powiązaniach między nimi. Dane te są przydatne i można je wykorzystać na wiele sposobów:

• Szukaj z Yep, aby dostęp wysokiej jakości treści i wszystkie potrzebne Ci informacje, a jednocześnie obsługuje alternatywną wyszukiwarkę, której celem jest zarabianie pieniędzy w kieszeniach Twoich ulubionych twórców treści.

• Jeśli prowadzisz witrynę internetową, użyj Ahrefs do analizy jej struktury, treści i zwrotne aby uzyskać wgląd w jego działanie. Następnie zoptymalizuj go do wzmacniać doświadczenie użytkownika, poprawić pozycję w wyszukiwarkachi zwiększyć ruch.

• Jeśli chodzi o badania na skalę internetową, Ahrefs umożliwia śledzenie wzrostu popularności danej witryny lub określonego tematu na przestrzeni czasu, identyfikację witryn linkujących do określonych typów treści oraz ustalenie, jak często dana marka była ostatnio wspominana, a to tylko niektóre z dostępnych wskaźników.

Ponadto AhrefsBot, jak każdy dobry bot, ściśle przestrzega zasad określonych w plikach robots.txt, nie wyświetla reklam na stronach internetowych i nie zwiększa sztucznie ruchu w Google Analytics.

Jak działa AhrefsBot?

Ahrefsbot indeksuje jak najwięcej stron internetowych. Podczas każdego indeksowania rejestruje wysokiej jakości dane o linkach i zwraca je do bazy danych Ahrefs.

Oto krótki przegląd działania AhrefsBot:

A. Czołganie się

AhrefsBot rozpoczyna od przeszukiwania Internetu, uzyskiwania dostępu do stron internetowych i wysyłania żądań do stron z serwerów. Co 24 godziny przeszukuje 6 miliardów stron internetowych i co jakiś czas odświeża indeks linków Od 15 do 30 minutPodczas procesu indeksowania podąża za linkami na stronach w poszukiwaniu nowej zawartości. Celem jest utworzenie kompletnego indeksu stron internetowych.

B. Odkrywanie nowych stron

AhrefsBot znajduje nowe strony, podążając za linkami do już istniejących w swoim indeksie. Pomaga to identyfikować i indeksować nowe informacje, gdy tylko staną się dostępne w Internecie.

C. Zbieranie danych

AhrefsBot skanuje strony i zbiera dane dotyczące różnych zmiennych związanych z SEO, w tym między innymi:

1. Linki zwrotne: AhrefsBot wyszukuje i śledzi linki zwrotne do konkretnej strony, łącznie z domeną linkującą i tekstem zakotwiczenia.

2. Słowa kluczowe: Analizuje zawartość strony w celu określenia docelowych słów kluczowych.

3. Komponenty SEO na stronie: AhrefsBot może zbierać dane o elementach na stronie, w tym meta tagach, nagłówkach i innych aspektach związanych z SEO.

D. Audyt witryny

AhrefsBot przeprowadza audyty witryn, w tym kompleksową analizę witryny pod kątem typowych problemów SEO, takich jak uszkodzone linki, zduplikowana treść, brakujące meta tagi i inne problemy na stronie i techniczne SEO obawy.

mi. Indeksowanie

Dane z AhrefsBot są następnie analizowane i indeksowane w bazie danych Ahrefs. Użytkownicy Ahrefs mogą uzyskać wgląd w swoją stronę internetową i stronę konkurencji, uzyskując dostęp do tych zindeksowanych danych za pośrednictwem platformy Ahrefs.

F. Regularne aktualizacje

Bot Ahrefs często odwiedza strony internetowe, aby zaktualizować swój indeks o nowe informacje. To obiecuje, że Użytkownicy Ahrefs otrzymują najbardziej aktualne informacje o swojej witrynie wydajność i wydajność konkurentów w swojej dziedzinie.

G. Szacunek dla metatagów Robots.txt i Noindex

AhrefsBot, podobnie jak inne roboty indeksujące sieć, stosuje się do ograniczeń ustalonych przez witryny za pośrednictwem pliku robots.txt oraz meta tagów, takich jak „noindex” i „nofollow”. Jeśli witryna nakaże AhrefsBotowi nie indeksować określonych stron lub ich części, AhrefsBot zastosuje się do tych instrukcji.

Ciąg agenta użytkownika AhrefsBot (najnowsza wersja)

Analizując logi serwera lub monitorując aktywność botów, często natkniesz się na AhrefsBot – oficjalny crawler używany w zestawie narzędzi SEO Ahrefs. Skanuje on strony internetowe w celu zebrania linków zwrotnych i danych o słowach kluczowych do bazy danych Ahrefs.

Oto najnowsze Ciąg agenta użytkownika AhrefsBot zwykle zobaczysz:

mniejKopiujEdytujMozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

Ten user-agent identyfikuje robota podczas odwiedzania Twojej witryny. Odwołanie się do tego konkretnego ciągu znaków jest niezbędne, jeśli chcesz zablokować AhrefsBota lub filtrować jego aktywność. Większość logów serwera rejestruje ten wiersz podczas indeksowania witryny przez Ahrefs, co ułatwia jego wykrycie.

Uwaga: Możesz również sprawdzić, czy skanowanie pochodzi od prawdziwego AhrefsBota, korzystając z jego oficjalnego narzędzia weryfikacyjnego.

Niezależnie od tego, czy chcesz udoskonalić plik robots.txt, czy zabezpieczyć swoją witrynę przed niepotrzebnymi botami, znajomość tego agenta użytkownika pomoże Ci podjąć świadome działania.

Korzyści z Ahrefsbota

Ahrefs jest dobrze znany z pełnej analizy linków zwrotnych i możliwości związanych z SEO. AhrefsBot zbiera dane do indeksu Ahrefs i dostarcza przydatnych informacji tym, którzy tego chcą poprawić wydajność SEO swojej witryny.

Oto niektóre korzyści oferowane przez Ahrefsbot:

1. Praktyczne dane SEO

Dane Ahrefsbota są niezwykle cenne dla społeczności SEO i marketingu. Gromadzone przez niego dane pomagają specjalistom SEO i marketerom uczyć się, jak optymalizować swoje strony internetowe pod kątem najważniejszych wyszukiwarek, takich jak Google.

Zezwolenie Ahrefsbotowi na indeksowanie Twojej witryny gwarantuje, że jej baza danych jest stale aktualizowana. Twoja witryna dostarcza najdokładniejszych danych, które możesz porównać z konkurencją.

To pomoże ci:

• Zoptymalizuj swoją witrynę.
• Ustal priorytety nad czym musisz popracować, aby poprawić swoją pozycję w rankingu.

2. Przeszukiwanie sieci

AhrefsBot przeszukuje sieć i indeksuje witryny w taki sam sposób, jak robią to boty wyszukiwarek. Identyfikuje i zbiera dane ze stron internetowych, tworząc kompletną bazę danych, do której mają dostęp użytkownicy Ahrefs.

3. Analiza linków zwrotnych

Jedną z kluczowych funkcji Ahrefs jest narzędzie do analizy linków zwrotnych. Ułatwia ono zbieranie danych o linkach zwrotnych, takich jak liczba linków zwrotnych, domeny odsyłające, tekst zakotwiczenia itp. Informacje te są pomocne w… Specjaliści SEO którzy chcą poznać profil linków swojej witryny i profil konkurencji.

4. Badanie słów kluczowych

Ahrefs oferuje zestaw narzędzi do badania słów kluczowych. AhrefsBot pomaga odkrywać nowe i istniejące strony powiązane z określonymi słowami kluczowymi, dostarczając dane niezbędne do analizy słów kluczowych, takie jak ruch w wyszukiwarkach, trudność słów kluczowych i… współczynniki klikalności.

5. Śledzenie rang

Ahrefs umożliwia użytkownikom oglądanie ich witryn internetowych rankingi dla określonych słów kluczowych z czasem. AhrefsBot przyczynia się do gromadzenia danych rankingowych poprzez regularne skanowanie i indeksowanie stron w celu ustalenia ich pozycji w wynikach wyszukiwania dla określonych słowa kluczowe.

Wady Ahrefsbota

Powinieneś zdawać sobie sprawę z wad AhrefsBot. Każdy z nich może powodować niepożądane problemy w Twojej witrynie i może nie być wart ryzyka.

1. AhrefsBot może spowolnić Twoją witrynę

Kiedy Ahrefsbot indeksuje Twoją witrynę, ładuje się ona jak każdy inny użytkownik, zużywając przepustowość. Jeśli Ahrefsbot indeksuje Twoją witrynę zbyt często, może zużywać zbyt dużo przepustowości, co spowolni ładowanie witryny dla innych użytkowników.

Prędkość jest kluczowym czynnikiem rankingowym Google, który może negatywnie wpłynąć na doświadczenia użytkownika.

2. AhrefsBot może być używany przez spamerów

Jako właściciele witryn internetowych musimy uważać na spamerów. Nie ma nic gorszego niż otrzymanie zalewu niechcianego, spamowego ruchu odsyłającego, który zaśmieca raport Google Analytics i wpływa na wydajność Twojej witryny.

Spamerzy mogą wykorzystywać agenta użytkownika Ahrefsbot do:

• Wielokrotnie spamuj swoją witrynę.
• Wysyłaj fałszywy ruch polecający.
• Zdrap ważne dane.

Jeśli otrzymujesz duży ruch od Ahrefsbota, powinieneś sprawdzić i porównać go z oficjalnymi zakresami adresów IP Ahrefs.

Jak zarządzać Ahrefsbotem na swojej stronie?

AhrefsBot można zablokować lub ograniczyć za pomocą pliku robots.txt lub .htaccess. 

Metoda 1: Zablokuj Ahrefsbota za pomocą pliku Robots.txt

Ahrefs twierdzi, że Ahrefsbot postępuje zgodnie z wytycznymi pliku robots.txt. Możesz zablokować Ahrefsbota, dodając nowe reguły do ​​pliku robots.txt.

Masz tutaj dwie możliwości:

• Zmień częstotliwość, z jaką AhrefsBot może odwiedzać Twoją witrynę.
• Całkowicie uniemożliwiaj AhrefsBotowi przeglądanie Twojej witryny. 

Aby dostosować częstotliwość, z jaką Ahrefsbot odwiedza Twoją witrynę, dodaj następujący kod do pliku robots.txt:

Wartość opóźnienia indeksowania reprezentuje czas zarejestrowania opóźnienia w sekundach. Ustaw tę wartość, aby opóźnić liczbę sekund pomiędzy każdym indeksowaniem Ahrefsbot.

Chcesz całkowicie zablokować Ahrefsbota?

Aby to zrobić, dodaj tag disallow do pliku robots.txt. Użyj następującego atrybutu:

Ahrefsbot powinien postępować zgodnie z regułą pliku robots.txt, którą właśnie skonfigurowałeś.

Metoda 2: Zablokuj AhrefsBot przy użyciu pliku .htaccess

Ta strategia jest całkiem dobra w blokowaniu AhrefsBota i zapewnia większą kontrolę.

W przeciwieństwie do podejścia nr 1, które opiera się na działaniu Ahrefsbota zgodnie z ustalonymi przez Ciebie regułami, metoda nr 2 daje Ci pełną kontrolę nad serwerem.

Dodasz zakres adresów IP Ahrefsbota i zablokujesz go na podstawie tych adresów.

I teraz pojawia się pytanie…

Czy powinieneś blokować Ahrefsbota?

Zanim użyjesz terminu „blok”, przeanalizuj jego zalety i wady:

If

• Zablokowanie Ahrefsbota oszczędza zasoby serwera i może poprawić wydajność strony.
• Jeśli obawiasz się ujawnienia wrażliwych danych, pomocne może być blokowanie. 

Wówczas wskazane może być jego zablokowanie.

If

• Zablokowanie Ahrefsbota może uniemożliwić Ci dostęp do analizy linków zwrotnych, badań konkurencji i danych słów kluczowych.
• Narzędzia Ahrefs opierają się na danych Ahrefsbot; wyłączenie tej opcji może zmniejszyć widoczność Twojej witryny w raportach i rankingach. 

W takim razie nie blokuj Ahrefsbota, ponieważ chcesz na bieżąco aktualizować swoją witrynę w indeksie Ahrefs.

Wreszcie, to pytanie może pomóc Ci zdecydować, czy skorzystać z Ahrefsbota. 

„Czy to przynosi korzyści mojej witrynie, czy szkodzi mojej witrynie?”

Można się o tym przekonać jedynie przeglądając rejestry dostępu do swojej witryny.

AhrefsBot kontra inne roboty SEO (SemrushBot, Moz itp.)

AhrefsBot to nie jedyny robot SEO odwiedzający Twoją witrynę. Inne popularne narzędzia SEO, takie jak Semrush, Moz, Krzyczeli Frog Uruchamiają również boty do zbierania danych. Oto jak AhrefsBot wypada na ich tle pod względem zachowania i użytkowania:

Nazwa bota	Przykład User-Agent	Cel	Częstotliwość indeksowania	Szanować plik robots.txt?
AhrefsBot	AhrefsBot/7.0 (+http://ahrefs.com/robot/)	Zbieranie danych o linkach zwrotnych i SEO	Wysoki	Tak
SemrushBot	Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)	Audyty SEO, dane dotyczące słów kluczowych	Średnio-wysoki	Tak
RogerBot Moza	rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot)	Metryki linków, indeks Moz	Średni	Tak
Krzyczeli Frog SEO Pająk	Niestandardowy agent użytkownika (może być ustawiony przez użytkownika)	Audyty na żądanie	Kontrolowane przez użytkownika	Tak

Kluczowe różnice:

• AhrefsBot jest jednym z najbardziej agresywnych robotów indeksujących pod względem częstotliwości, szczególnie jeśli Twoja witryna ma linki zwrotne lub jest monitorowana za pomocą projektów Ahrefs.
• SemrushBot oraz RogerBot Moza są bardziej umiarkowane i zazwyczaj wiążą się z audytami inicjowanymi przez użytkowników lub okresowymi aktualizacjami indeksu.
• Krzyczeli Frog nie indeksuje Twojej witryny, chyba że ktoś użyje tego narzędzia ręcznie — nie jest ono zautomatyzowane jak inne.

Jeśli odnotowujesz duży ruch botów, warto zidentyfikować boty SEO trafiające na Twój serwer i zdecydować, czy wnoszą one wartość dodaną, czy też należy je zablokować.

Wskazówka: Użyj dzienników serwera lub narzędzi, takich jak Cloudflare Analytics, aby śledzić, jak często poszczególne boty odwiedzają Twoją witrynę i jakie strony odwiedzają.

Podsumowanie

Teraz możemy traktować Ahrefsbota jako wroga, którego trzeba pokonać, lub przyjaciela, którego trzeba opanować. Zrozumienie prawdziwej natury Ahrefsbota i zastosowanie odpowiednich środków pozwoli nam wykorzystać jego potencjał, jednocześnie minimalizując wszelkie ukryte ryzyko.

Możemy zmienić go z niebezpiecznego wroga w solidnego przyjaciela, wynosząc nasze strony internetowe na wyżyny osiągnięć. 

Nie zapomnij sprawdzić naszych ostatnich wpisów na blogu:

• Web Scraping z Chrome – 10 dodatków do Chrome
• Czym jest Janitor.ai? Co go wyróżnia?
• Czy Google zawsze ma rację? Prawda o wyszukiwarce Google
• Jak przeprowadzić analizę luk w treści? Pełny przewodnik tutaj!
• Sekrety SEO: siła magnesów linkowych
• Wady sztucznej inteligencji w edukacji
• Strategie SEO w zakresie cyberbezpieczeństwa na rok 2025: zwiększ swoje rankingi
• Lejek sprzedażowy dla SEO: zwiększ liczbę potencjalnych klientów i konwersje
• Czym jest Link Rot? Jak sobie z nim radzić?

FAQ