AhrefsBot spiegato: dovresti bloccarlo o lasciarlo strisciare?

Se gestisci un sito web, hai sicuramente incontrato la parola “Ahrefsbot” nei log del tuo server o nei rapporti di analisi web. Ma cos’è esattamente AhrefsBot e dovresti preoccuparti della sua presenza sul tuo sito web?

Ahrefsbot esegue la scansione del tuo sito regolarmente. Si comporta proprio come Googlebot, entra e scompare quando vuole. Questo non è sempre un problema, ma potrebbe essere significativamente peggiore se sovraccarica il tuo server e rallenta il tuo sito.

Quindi, la domanda è: dove si colloca Ahrefsbot in questo spettro?

È un amico o un nemico per il tuo sito web?

Esploriamo!

Cos'è Ahrefsbot?

AhrefsBot è un web crawler gestito da Ahrefs, una suite di software SEO leader di mercato. Questo bot esplora continuamente il web, 24 ore al giorno, 7 giorni alla settimana, per creare e aggiornare il database dei backlink, consentendo ad Ahrefs di fornire ai propri utenti i dati più accurati e aggiornati.

È uno dei crawler più attivi di Internet. Ogni minuto, AhrefsBot esegue la scansione di 5 milioni di pagine web. Secondo una ricerca di terze parti, supera i crawler di Yahoo e Yandex ed è senza dubbio il crawler più attivo tra gli altriFornitori di strumenti SEO.

Ahrefsbot si è comportato eccezionalmente bene nel suo ruolo, portando l'azienda ai vertici del settore, con un fatturato annuale ricorrente (ARR) di100 milioni di dollari entro il 2023.

Il bot indicizza informazioni attuali e affidabili sui siti Web, sui loro contenuti e su come si relazionano tra loro. Questi dati sono utili e possono essere utilizzati in molti modi:

• Cerca con Sì peraccederecontenuti di alta qualitàe tutte le informazioni di cui hai bisogno, supportando al tempo stesso un motore di ricerca alternativo dedicato a mettere soldi nelle tasche dei tuoi creatori di contenuti preferiti.

• Se gestisci un sito web, usa Ahrefs per analizzarne la struttura, il contenuto ebacklinkper ottenere informazioni sulle sue prestazioni. Quindi, ottimizzalo supotenziarel'esperienza dell'utente, migliorare il posizionamento nei motori di ricercae aumentare il traffico.

• Quando si tratta di ricerca su scala web, Ahrefs ti consente di monitorare la crescita della popolarità di un sito web o di un argomento specifico nel tempo, identificare quali siti web si collegano a particolari tipi di contenuti e determinare con quale frequenza un marchio è stato menzionato di recente, tra le altre metriche.

Inoltre, AhrefsBot, come ogni buon bot, aderisce attentamente alle regole specificate nei file robots.txt, non visualizza annunci pubblicitari sui siti Web e non gonfia artificialmente il traffico di Google Analytics.

Come funziona AhrefsBot?

Ahrefsbot esegue la scansione del maggior numero possibile di siti web. Registra dati di collegamento di alta qualità ad ogni scansione e li restituisce al database Ahrefs.

Ecco una rapida panoramica di come funziona AhrefsBot:

UN. Strisciando

AhrefsBot inizia eseguendo la scansione di Internet, accedendo a siti Web e richiedendo pagine dai server. Ogni 24 ore effettua la ricerca su6 miliardi di pagine webe aggiorna l'indice del collegamento ogniDa 15 a 30 minuti. Durante il processo di scansione, segue i collegamenti sulle pagine per cercare nuovi contenuti. Lo scopo è creare un indice completo delle pagine online.

B. Alla scoperta di nuove pagine

AhrefsBot trova nuove pagine seguendo i collegamenti da quelle esistenti nel suo indice. Ciò aiuta a identificare e indicizzare le nuove informazioni non appena diventano disponibili online.

C. Raccolta dati

AhrefsBot scansiona le pagine e raccoglie dati su una varietà di variabili relative alla SEO, incluse ma non limitate a:

1. Backlink:AhrefsBot trova e tiene traccia dei backlink a una particolare pagina, incluso il dominio di collegamento e il testo di ancoraggio.

2. Parole chiave:Analizza il contenuto della pagina per determinare parole chiave mirate.

3. Componenti SEO on-page:AhrefsBot può raccogliere dati sugli elementi della pagina, inclusi meta tag, intestazioni e altri aspetti relativi alla SEO.

D. Controllo del sito

AhrefsBot conduce controlli del sito, inclusa un'analisi completa del sito Web per problemi SEO comuni come collegamenti interrotti, contenuti duplicati, meta tag mancanti e altri contenuti sulla pagina eSEO tecnicopreoccupazioni.

e. Indicizzazione

I dati di AhrefsBot vengono successivamente analizzati e indicizzati nel database Ahrefs. Gli utenti di Ahrefs possono ottenere informazioni approfondite sui propri siti web e su quelli della concorrenza accedendo a questi dati indicizzati tramite la piattaforma Ahrefs.

F. Aggiornamenti regolari

Ahrefs Bot visita spesso i siti Web per aggiornare il proprio indice con nuove informazioni. Ciò promette cheGli utenti di Ahrefs ottengono le informazioni più aggiornate suidel loro sito performance e quella dei concorrenti nel loro settore.

G. Rispetto dei meta tag Robots.txt e Noindex

AhrefsBot, come altri web crawler, segue le restrizioni impostate dai siti web tramite il file robots.txt e meta tag come “noindex” e “nofollow���. Se un sito web indica ad AhrefsBot di non eseguire la scansione di pagine o parti specifiche del sito, seguirà tali istruzioni.

Stringa agente utente AhrefsBot (ultima versione)

Quando analizzi i log del tuo server o monitori l'attività dei bot, ti imbatterai spesso in AhrefsBot, il crawler ufficiale utilizzato dal set di strumenti SEO Ahrefs. Esegue la scansione dei siti Web per raccogliere backlink e dati sulle parole chiave per il database di Ahrefs.

Ecco le ultimeStringa agente utente AhrefsBotin genere vedrai:

menoCopiaModificaMozilla/5.0 (compatibile; AhrefsBot/7.0; +http://ahrefs.com/robot/)

Questo user-agent identifica il crawler quando visita il tuo sito web. Fare riferimento a questa stringa esatta è essenziale se desideri bloccare AhrefsBot o filtrare la sua attività. La maggior parte dei log dei server registrerà questa riga quando Ahrefs esegue la scansione del tuo sito, rendendolo facile da rilevare.

Nota: puoi anche verificare se la scansione proviene dal vero AhrefsBot utilizzando il loro strumento di verifica ufficiale.

Che tu stia perfezionando il tuo robots.txt o proteggendo il tuo sito da bot non necessari, conoscere questo agente utente ti aiuta a intraprendere un'azione informata.

Vantaggi di Ahrefsbot

Ahrefs è ben noto per la sua analisi completa dei backlink e le capacità SEO. AhrefsBot raccoglie dati per l'indice di Ahrefs e fornisce informazioni utili a coloro che tentano dimigliorare le prestazioni SEO del loro sito web.

Ecco alcuni dei vantaggi offerti da Ahrefsbot:

1. Dati SEO pratici

I dati di Ahrefsbot sono estremamente preziosi per le comunità SEO e di marketing. I dati raccolti aiutano i SEO e gli esperti di marketing a imparare come ottimizzare i propri siti Web per i principali motori di ricerca come Google.

Consentire ad Ahrefsbot di eseguire la scansione del tuo sito web garantisce che il suo database sia costantemente aggiornato. Il tuo sito web fornisce i dati più accurati, che puoi confrontare con i tuoi concorrenti.

Questo ti aiuterà:

• Ottimizza il tuo sito web.
• Dai la priorità a ciò su cui devi lavorare per migliorare il tuo posizionamento.

2. Scansione web

AhrefsBot esegue la scansione del Web e indicizza i siti allo stesso modo dei bot dei motori di ricerca. Identifica e raccoglie dati dai siti Web, creando un database completo a cui gli utenti Ahrefs possono accedere.

3. Analisi dei backlink

Una delle caratteristiche principali di Ahrefs è il suo strumento di analisi dei backlink. Facilita la raccolta di dati di backlink, come il numero di backlink, domini di riferimento e testo di ancoraggio. Questa informazione è utile perSpecialisti SEOche vogliono comprendere il profilo link del proprio sito web e quello dei concorrenti.

4. Ricerca per parole chiave

Ahrefs fornisce una serie di strumenti di ricerca per parole chiave. AhrefsBot aiuta a scoprire pagine nuove ed esistenti pertinenti a parole chiave specifiche, fornendo i dati necessari per l'analisi delle parole chiave, come traffico di ricerca, difficoltà delle parole chiave epercentuali di clic.

5. Monitoraggio del posizionamento

Ahrefs consente agli utenti di guardaredel proprio sito web classifiche per parole chiave specifichecol tempo. AhrefsBot contribuisce alla raccolta dei dati di posizionamento eseguendo regolarmente la scansione e l'indicizzazione delle pagine per stabilire la loro posizione nei risultati dei motori di ricerca per specificiparole chiave.

Svantaggi di Ahrefsbot

Dovresti essere consapevole degli svantaggi di AhrefsBot. Ognuno di essi può causare problemi indesiderati sul tuo sito web e potrebbe non valere la pena rischiare.

1. AhrefsBot può rallentare il tuo sito

Quando Ahrefsbot esegue la scansione del tuo sito, si carica come qualsiasi altro utente e consuma larghezza di banda. Se Ahrefsbot esegue la scansione del tuo sito web troppo spesso, potrebbe consumare una larghezza di banda eccessiva, causando un caricamento più lento del sito per gli altri visitatori.

La velocità è un fattore cruciale di ranking di Google che può avere un impatto negativo sull’esperienza dell’utente.

2. AhrefsBot può essere utilizzato dagli spammer

Come proprietari di siti web, dobbiamo essere consapevoli degli spammer. Non c'è niente di peggio che ricevere un'ondata di traffico di referral spam non invitato che ingombra il tuo report di Google Analytics e influisce sulle prestazioni del tuo sito web.

Gli spammer possono utilizzare l'agente utente Ahrefsbot per:

• Invia ripetutamente spam al tuo sito web.
• Invia traffico di referral fasullo.
• Raccogli dati importanti.

Se ricevi molto traffico da Ahrefsbot, dovresti esaminarlo e confrontarlo con gli intervalli di indirizzi IP ufficiali di Ahrefs.

Come gestire Ahrefsbot sul tuo sito?

AhrefsBot può essere bloccato o limitato utilizzando il file robots.txt o .htaccess.

Metodo 1: bloccare Ahrefsbot utilizzando Robots.txt

Ahrefs afferma che Ahrefsbot segue le linee guida del file robots.txt. Puoi bloccare Ahrefsbot aggiungendo nuove regole al tuo file robots.txt.

Hai due scelte qui:

• Modifica la frequenza con cui AhrefsBot visita il tuo sito.
• Impedisci completamente ad AhrefsBot di visualizzare il tuo sito web.

Per regolare la frequenza con cui Ahrefsbot visita il tuo sito web, aggiungi il seguente codice al tuo file robots.txt:

Il valore del ritardo di scansione rappresenta il ritardo, registrato in secondi. Imposta questo valore sul numero di secondi di ritardo tra ogni scansione di Ahrefsbot.

Vuoi bloccare completamente Ahrefsbot?

Per fare ciò, aggiungi un tag disallow al tuo file robots.txt. Utilizzare il seguente attributo:

Ahrefsbot dovrebbe seguire la regola del file robots.txt che hai appena impostato.

Metodo 2: bloccare AhrefsBot utilizzando il file .htaccess

Questa strategia è abbastanza efficace per bloccare AhrefsBot e ti dà maggiore controllo.

A differenza dell'approccio 1, che si affida ad Ahrefsbot per seguire le regole stabilite, il metodo 2 ti dà il controllo completo sul server.

Aggiungerai l'intervallo di indirizzi IP di Ahrefsbot e lo vieterai in base a tali indirizzi.

Ora la domanda sorge qui…

Dovresti bloccare Ahrefsbot?

Prima di usare il termine “blocco”, analizzane i pro e i contro:

Se

• Bloccare Ahrefsbot conserva le risorse del server e può migliorare le prestazioni della pagina.
• Se sei preoccupato per la divulgazione di dati sensibili, il blocco può aiutarti.

Quindi potrebbe essere opportuno bloccarlo.

Se

• Bloccare Ahrefsbot potrebbe impedirti di accedere all'analisi dei backlink, alla ricerca competitiva e ai dati sulle parole chiave.
• Gli strumenti di Ahrefs si basano sui dati di Ahrefsbot; disabilitarlo può ridurre la visibilità del tuo sito web nei suoi rapporti e classifiche.

Quindi, non bloccare Ahrefsbot poiché vuoi mantenere aggiornato il tuo sito web nell'indice Ahrefs.

Infine, questa domanda può aiutarti a decidere se utilizzare Ahrefsbot.

"Questo avvantaggia il mio sito web o danneggia il mio sito web?"

Puoi capirlo solo esaminando i record di accesso del tuo sito.

AhrefsBot rispetto ad altri crawler SEO (SemrushBot, Moz, ecc.)

AhrefsBot non è l'unico crawler SEO che visita il tuo sito web. Altri strumenti SEO popolari, comeSemrush,MozeRana urlante, utilizza anche i bot per raccogliere dati. Ecco come AhrefsBot si confronta con loro in termini di comportamento e utilizzo:

Nome del bot	Esempio di agente utente	Scopo	Frequenza di scansione	Rispettare robots.txt?
AhrefsBot	AhrefsBot/7.0 (+http://ahrefs.com/robot/)	Backlink e raccolta dati SEO	Alto	Sì
SemrushBot	Mozilla/5.0 (compatibile; SemrushBot/7~bl; +http://www.semrush.com/bot.html)	Audit SEO, dati sulle parole chiave	Medio-Alto	Sì
RogerBot di Moz	rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot)	Metriche dei collegamenti, indice Moz	Medio	Sì
Rana Urlante SEO Spider	Agente utente personalizzato (può essere impostato dall'utente)	Verifiche del sito su richiesta	Controllato dall'utente	Sì

Differenze chiave:

• AhrefsBotè uno dei crawler più aggressivi in ​​termini di frequenza, soprattutto se il tuo sito ha backlink o è monitorato tramite progetti Ahrefs.
• SemrushBoteRogerBot di Mozsono più moderati e solitamente legati a controlli attivati ​​dall'utente o ad aggiornamenti periodici dell'indice.
• Rana urlantenon esegue la scansione del tuo sito a meno che qualcuno non utilizzi lo strumento manualmente: non è automatizzato come gli altri.

Se riscontri un traffico bot elevato, vale la pena identificare quali bot SEO stanno colpendo il tuo server e determinare se aggiungono valore o devono essere bloccati.

Suggerimento: utilizza i log del server o strumenti come l'analisi di Cloudflare per monitorare la frequenza con cui ciascun bot visita e quali pagine visita.

Conclusione

Ora possiamo scegliere se trattare Ahrefsbot come un nemico da sconfiggere o come un amico da dominare. Comprendere la vera natura di Ahrefsbot e adottare le misure adeguate ci consentirà di sfruttare il suo potenziale mitigando i rischi nascosti.

Possiamo trasformarlo da un nemico pericoloso ad un amico fedele, aiutando i nostri siti Web a raggiungere nuovi traguardi.

Non dimenticare di dare un'occhiata ai nostri post recenti sul blog:

• Web Scraping con Chrome – 10 componenti aggiuntivi di Chrome
• Cos'è Janitor.ai? Cosa lo rende unico?
• Google ha sempre ragione? La verità sulla ricerca Google
• Come eseguire l'analisi delle lacune nei contenuti? Guida completa qui!
• Segreti SEO: il potere dei link magnet
• Svantaggi dell'intelligenza artificiale nell'istruzione
• Strategie SEO per la sicurezza informatica per il 2025: migliora il tuo posizionamento
• Funnel di vendita per la SEO: aumenta lead e conversioni
• Cos'è LinkRot? Come affrontarlo?

Domande frequenti