AhrefsBot uitgelegd: moet je het blokkeren of laten kruipen?

Als u een website beheert, bent u zeker het woord “Ahrefsbot” tegengekomen in uw serverlogboeken of webanalyserapporten. Maar wat is AhrefsBot precies en moet u zich zorgen maken over de aanwezigheid ervan op uw website?

Ahrefsbot crawlt uw site regelmatig. Het gedraagt ​​zich net als Googlebot: het komt binnen en verdwijnt wanneer het wil. Dit is niet altijd een probleem, maar het kan aanzienlijk erger zijn als uw server hierdoor overbelast raakt en uw site vertraagt.

De vraag is dus: waar staat Ahrefsbot in dit spectrum?

Is het een vriend of vijand voor uw website?

Laten we verkennen!

Wat is Ahrefsbot?

AhrefsBot is een webcrawler die wordt beheerd door Ahrefs, een toonaangevend SEO-softwarepakket. Deze bot verkent voortdurend het internet, 24 uur per dag, 7 dagen per week, om de backlinkdatabase aan te maken en bij te werken, waardoor Ahrefs zijn gebruikers van de meest nauwkeurige en up-to-date gegevens kan voorzien.

Het is een van de meest actieve crawlers op internet. Elke minuut crawlt AhrefsBot 5 miljoen webpagina's. Volgens onderzoek van derden overtreft het de Yahoo- en Yandex-crawlers en is het ongetwijfeld de meest actieve crawler onder andereAanbieders van SEO-tools.

Ahrefsbot heeft uitzonderlijk goed gepresteerd in zijn rol en heeft het bedrijf naar de top van de sector gestuwd, met een jaarlijks terugkerende omzet (ARR) van$100 miljoen in 2023.

De bot indexeert actuele, betrouwbare informatie over websites, de inhoud ervan en hoe deze zich tot elkaar verhouden. Deze gegevens zijn nuttig en kunnen op vele manieren worden gebruikt:

• Zoek met Ja naartoeganginhoud van hoge kwaliteiten alle informatie die je nodig hebt, terwijl je een alternatieve zoekmachine ondersteunt die geld in de zakken van je favoriete makers van inhoud stopt.

• Als u een website beheert, gebruik dan Ahrefs om de structuur, inhoud enervan te analyseren backlinksom inzicht te krijgen in de prestaties ervan. Optimaliseer het vervolgens naarverbeterende gebruikerservaring, verbeter de ranking van zoekmachinesen het verkeer vergroten.

• Als het gaat om onderzoek op webschaal, kunt u met Ahrefs onder meer de groei in populariteit van een website of een specifiek onderwerp in de loop van de tijd volgen, identificeren welke websites naar bepaalde soorten inhoud linken en bepalen hoe vaak een merk recentelijk is genoemd.

Bovendien houdt AhrefsBot zich, net als elke goede bot, zorgvuldig aan de regels die zijn gespecificeerd in de robots.txt-bestanden, geeft geen advertenties weer op websites en verhoogt het Google Analytics-verkeer niet kunstmatig.

Hoe werkt AhrefsBot?

Ahrefsbot crawlt zoveel mogelijk websites. Het registreert bij elke crawl hoogwaardige linkgegevens en stuurt deze terug naar de Ahrefs-database.

Hier is een kort overzicht van hoe AhrefsBot werkt:

A. Kruipen

AhrefsBot begint met het crawlen van internet, het bezoeken van websites en het opvragen van pagina's bij servers. Elke 24 uur wordt er gezocht naar meer dan6 miljard webpagina'sen vernieuwt de linkindex elke15 tot 30 minuten. Tijdens het crawlproces volgt het links op pagina's om naar nieuwe inhoud te zoeken. Het doel is om een ​​volledige index van onlinepagina's te creëren.

B. Nieuwe pagina's ontdekken

AhrefsBot vindt nieuwe pagina's door links van bestaande pagina's in de index te volgen. Dit helpt het nieuwe informatie te identificeren en te indexeren zodra deze online beschikbaar komt.

C. Gegevensverzameling

AhrefsBot scant pagina's en verzamelt gegevens over een verscheidenheid aan SEO-gerelateerde variabelen, waaronder maar niet beperkt tot:

1. Backlinks:AhrefsBot vindt en volgt backlinks naar een bepaalde pagina, inclusief het linkdomein en de ankertekst.

2. Trefwoorden:Het analyseert de pagina-inhoud om gerichte zoekwoorden te bepalen.

3. SEO-componenten op de pagina:AhrefsBot kan gegevens verzamelen over elementen op de pagina, waaronder metatags, headers en andere SEO-gerelateerde aspecten.

D. Site-audit

AhrefsBot voert site-audits uit, inclusief een uitgebreide website-analyse voor veelvoorkomende SEO-problemen zoals verbroken links, dubbele inhoud, ontbrekende metatags en andere on-page entechnische SEOzorgen.

e. Indexering

De gegevens van AhrefsBot worden vervolgens geanalyseerd en geïndexeerd in de Ahrefs-database. Ahrefs-gebruikers kunnen inzicht krijgen in hun eigen websites en die van concurrenten door toegang te krijgen tot deze geïndexeerde gegevens via het Ahrefs-platform.

F. Regelmatige updates

Ahrefs Bot bezoekt vaak websites om de index bij te werken met nieuwe informatie. Dit belooft datAhrefs-gebruikers krijgen de meest actuele informatie overvan hun site prestaties en die van concurrenten in hun vakgebied.

G. Respect voor de Robots.txt- en Noindex-metatags

AhrefsBot volgt, net als andere webcrawlers, de beperkingen die door websites zijn ingesteld via het robots.txt-bestand en metatags zoals ‘noindex’ en ‘nofollow’. Als een website AhrefsBot opdracht geeft specifieke pagina's of delen van de site niet te crawlen, zal hij die instructies volgen.

AhrefsBot User-Agent String (nieuwste versie)

Bij het analyseren van uw serverlogboeken of het monitoren van botactiviteit, zult u vaak AhrefsBot tegenkomen – de officiële crawler die wordt gebruikt door de Ahrefs SEO-toolset. Het scant websites om backlinks en trefwoordgegevens te verzamelen voor de database van Ahrefs.

Hier is de nieuwsteAhrefsBot-gebruikersagenttekenreeksnormaal gesproken zie je:

minderKopiërenBewerkenMozilla/5.0 (compatibel; AhrefsBot/7.0; +http://ahrefs.com/robot/)

Deze user-agent identificeert de crawler wanneer deze uw website bezoekt. Het verwijzen naar deze exacte string is essentieel als je AhrefsBot wilt blokkeren of de activiteit ervan wilt filteren. De meeste serverlogboeken registreren deze regel wanneer Ahrefs uw site crawlt, waardoor deze gemakkelijk te detecteren is.

Opmerking: je kunt ook verifiëren of de crawl afkomstig is van de echte AhrefsBot door hun officiële verificatietool te gebruiken.

Of u nu uw robots.txt aan het verfijnen bent of uw site beschermt tegen onnodige bots, als u deze user-agent kent, kunt u weloverwogen actie ondernemen.

Voordelen van Ahrefsbot

Ahrefs staat bekend om zijn uitgebreide backlinkanalyse en SEO-mogelijkheden. De AhrefsBot verzamelt gegevens voor de Ahrefs-index en biedt nuttige informatie aan degenen diede SEO-prestaties van hun website verbeteren.

Hier zijn enkele van de voordelen die Ahrefsbot biedt:

1. Praktische SEO-gegevens

Ahrefsbot-gegevens zijn uiterst waardevol voor de SEO- en marketinggemeenschappen. De gegevens die het verzamelt, helpen SEO's en marketeers te leren hoe ze hun websites kunnen optimaliseren voor grote zoekmachines zoals Google.

Door Ahrefsbot uw website te laten crawlen, zorgt u ervoor dat de database voortdurend wordt bijgewerkt. Uw website biedt de meest nauwkeurige gegevens, die u kunt vergelijken met uw concurrenten.

Dit zal je helpen:

• Optimaliseer uw website.
• Geef prioriteit aan waar u aan moet werken om uw ranking te verbeteren.

2. Webcrawlen

AhrefsBot doorzoekt het internet en indexeert sites op dezelfde manier als bots van zoekmachines. Het identificeert en verzamelt gegevens van websites, waardoor een complete database ontstaat waartoe Ahrefs-gebruikers toegang hebben.

3. Backlink-analyse

Een van de belangrijkste kenmerken van Ahrefs is de backlink-analysetool. Het vergemakkelijkt het verzamelen van backlinkgegevens, zoals het aantal backlinks, verwijzende domeinen en ankertekst. Deze informatie is nuttig voorSEO-specialistendie inzicht willen krijgen in het linkprofiel van hun website en dat van concurrenten.

4. Zoekwoordonderzoek

Ahrefs biedt een reeks tools voor zoekwoordonderzoek. AhrefsBot helpt bij het ontdekken van nieuwe en bestaande pagina's die relevant zijn voor specifieke trefwoorden, en levert de gegevens die nodig zijn voor trefwoordanalyse, zoals zoekverkeer, moeilijkheidsgraad van trefwoorden enklikfrequenties.

5. Rang volgen

Met Ahrefs kunnen gebruikersvan hun website bekijken rankings voor specifieke trefwoordenna verloop van tijd. AhrefsBot draagt ​​bij aan het verzamelen van rangschikkingsgegevens door pagina's regelmatig te crawlen en te indexeren om hun positie in de resultaten van zoekmachines voor specifieketrefwoorden.

Nadelen van Ahrefsbot

U moet zich bewust zijn van de nadelen van AhrefsBot. Beide kunnen ongewenste problemen op uw website veroorzaken en zijn het risico misschien niet waard.

1. AhrefsBot kan uw site vertragen

Wanneer Ahrefsbot uw site crawlt, wordt deze geladen zoals elke andere gebruiker en verbruikt deze bandbreedte. Als Ahrefsbot uw website te vaak crawlt, kan deze overmatige bandbreedte verbruiken, waardoor de site langzamer laadt voor andere bezoekers.

Snelheid is een cruciale Google-rankingfactor die een negatieve invloed kan hebben op de gebruikerservaring.

2. AhrefsBot kan worden gebruikt door spammers

Als website-eigenaren moeten we op de hoogte zijn van spammers. Niets is erger dan het ontvangen van een stroom ongenode spam-verwijzingsverkeer die uw Google Analytics-rapport onoverzichtelijk maakt en de prestaties van uw website beïnvloedt.

Spammers kunnen de Ahrefsbot-gebruikersagent gebruiken om:

• Spam herhaaldelijk uw website.
• Verzend nep verwijzingsverkeer.
• Schraap belangrijke gegevens.

Als u veel verkeer van Ahrefsbot ontvangt, moet u dit onderzoeken en vergelijken met de officiële Ahrefs IP-adresbereiken.

Hoe beheert u Ahrefsbot op uw site?

AhrefsBot kan worden geblokkeerd of beperkt met behulp van uw robots.txt- of .htaccess-bestand.

Methode 1: Ahrefsbot blokkeren met Robots.txt

Ahrefs stelt dat Ahrefsbot de robots.txt-richtlijnen volgt. Je kunt Ahrefsbot blokkeren door nieuwe regels toe te voegen aan je robots.txt-bestand.

Je hebt hier twee keuzes:

• Wijzig hoe vaak AhrefsBot uw site bezoekt.
• Voorkom volledig dat AhrefsBot uw website bekijkt.

Om de frequentie waarmee Ahrefsbot uw website bezoekt aan te passen, voegt u de volgende code toe aan uw robots.txt-bestand:

De crawlvertragingswaarde vertegenwoordigt de vertraging, vastgelegd in seconden. Stel deze waarde in op het aantal seconden dat moet worden uitgesteld tussen elke Ahrefsbot-crawl.

Wil je Ahrefsbot volledig blokkeren?

Om dit te doen, voegt u een disallow-tag toe aan uw robots.txt-bestand. Gebruik het volgende attribuut:

Ahrefsbot moet de robots.txt-regel volgen die u zojuist hebt ingesteld.

Methode 2: AhrefsBot blokkeren met behulp van het .htaccess-bestand

Deze strategie is redelijk goed in het blokkeren van AhrefsBot en geeft je meer controle.

In tegenstelling tot benadering 1, waarbij de Ahrefsbot de regels volgt die u opstelt, geeft methode 2 u volledige controle over de server.

U voegt het IP-adresbereik van de Ahrefsbot toe en verbiedt deze op basis van die adressen.

Nu rijst hier de vraag…

Moet je Ahrefsbot blokkeren?

Voordat u de term 'blok' gebruikt, analyseert u de voor- en nadelen ervan:

Als

• Het blokkeren van Ahrefsbot bespaart serverbronnen en kan de paginaprestaties verbeteren.
• Als u zich zorgen maakt over de openbaarmaking van gevoelige gegevens, kan blokkeren helpen.

Dan kan het passend zijn om het te blokkeren.

Als

• Als u Ahrefsbot blokkeert, kunt u mogelijk geen toegang krijgen tot backlinkanalyse, concurrentieonderzoek en trefwoordgegevens.
• De tools van Ahrefs zijn afhankelijk van Ahrefsbot-gegevens; Als u dit uitschakelt, kan de zichtbaarheid van uw website in de rapporten en ranglijsten afnemen.

Blokkeer Ahrefsbot dan niet, omdat u uw website up-to-date wilt houden in de Ahrefs-index.

Ten slotte kan deze vraag u helpen beslissen of u de Ahrefsbot wilt gebruiken.

“Heeft dit voordelen voor mijn website of schaadt dit mijn website?”

U kunt dit alleen achterhalen door de toegangsgegevens van uw site te bekijken.

AhrefsBot versus andere SEO-crawlers (SemrushBot, Moz, enz.)

AhrefsBot is niet de enige SEO-crawler die uw website bezoekt. Andere populaire SEO-tools, zoalsSemrush,MozesenSchreeuwende kikker, gebruik ook bots om gegevens te verzamelen. Dit is hoe AhrefsBot zich met hen verhoudt in termen van gedrag en gebruik:

Botnaam	Voorbeeld van een user-agent	Doel	Crawlfrequentie	Robots.txt respecteren?
AhrefsBot	AhrefsBot/7.0 (+http://ahrefs.com/robot/)	Backlink- en SEO-gegevensverzameling	Hoog	Ja
SemrushBot	Mozilla/5.0 (compatibel; SemrushBot/7~bl; +http://www.semrush.com/bot.html)	SEO-audits, trefwoordgegevens	Middelhoog	Ja
Moz's RogerBot	rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot)	Linkstatistieken, Moz-index	Middel	Ja
Schreeuwende Kikker SEO Spider	Aangepaste user-agent (kan door de gebruiker worden ingesteld)	Site-audits op aanvraag	Door gebruiker bestuurd	Ja

Belangrijkste verschillen:

• AhrefsBotis een van de meest agressieve crawlers qua frequentie, vooral als uw site backlinks heeft of wordt gemonitord via Ahrefs-projecten.
• SemrushBotenMoz's RogerBotzijn gematigder en meestal gekoppeld aan door de gebruiker geactiveerde audits of periodieke indexupdates.
• Schreeuwende kikkercrawlt uw site niet tenzij iemand de tool handmatig gebruikt. Het is niet geautomatiseerd zoals de andere.

Als u veel botverkeer ervaart, is het de moeite waard om te identificeren welke SEO-bots uw server bereiken en te bepalen of ze waarde toevoegen of moeten worden geblokkeerd.

Tip: Gebruik uw serverlogboeken of tools zoals Cloudflare-analyses om bij te houden hoe vaak elke bot bezoekt en welke pagina's ze bezoeken.

Conclusie

Nu hebben we de keuze om Ahrefsbot te behandelen als een vijand die verslagen moet worden of als een vriend die overmeesterd moet worden. Door de ware aard van Ahrefsbot te begrijpen en de juiste maatregelen te nemen, kunnen we het potentieel ervan benutten en tegelijkertijd verborgen risico’s beperken.

We kunnen het veranderen van een gevaarlijke vijand in een goede vriend, waardoor onze websites nieuwe prestatieniveaus kunnen bereiken.

Vergeet niet onze recente blogposts te bekijken:

• Webscrapen met Chrome – 10 Chrome-add-ons
• Wat is Janitor.ai? Wat maakt het uniek?
• Heeft Google altijd gelijk? De waarheid over Google Zoeken
• Hoe voer je een content gap-analyse uit? Volledige gids hier!
• SEO-geheimen: de kracht van linkmagneten
• Nadelen van kunstmatige intelligentie in het onderwijs
• SEO-strategieën voor cyberbeveiliging voor 2025: verhoog uw ranking
• Verkooptrechter voor SEO: boost leads en conversies
• Wat is Linkrot? Hoe ermee om te gaan?

Veelgestelde vragen