شرح AhrefsBot: هل يجب عليك حظره أم السماح له بالزحف؟

إذا كنت تدير موقعًا على الويب، فمن المؤكد أنك واجهت كلمة "Ahrefsbot" في سجلات الخادم أو تقارير تحليلات الويب. ولكن ما هو AhrefsBot بالضبط، وهل يجب أن تقلق بشأن وجوده على موقع الويب الخاص بك؟

يقوم Ahrefsbot بالزحف إلى موقعك بانتظام. فهو يتصرف تمامًا مثل Googlebot، حيث يدخل ويختفي عندما يرغب في ذلك. هذه ليست مشكلة دائمًا، ولكنها قد تكون أسوأ بكثير إذا أدت إلى زيادة التحميل على خادمك وإبطاء موقعك.

لذا، السؤال هو، أين يقف Ahrefsbot في هذا الطيف؟

هل هو صديق أم عدو لموقعك؟

دعونا نستكشف!

ما هو Ahrefsbot؟

AhrefsBot عبارة عن زاحف ويب يتم تشغيله بواسطة Ahrefs، وهي مجموعة برامج SEO رائدة في السوق. يستكشف هذا الروبوت الويب باستمرار، 24 ساعة في اليوم، 7 أيام في الأسبوع، لإنشاء وتحديث قاعدة بيانات الروابط الخلفية، مما يمكّن Ahrefs من تزويد مستخدميه بالبيانات الأكثر دقة وحداثة.

إنها واحدة من أكثر برامج الزحف نشاطًا على الإنترنت. في كل دقيقة، يقوم AhrefsBot بالزحف إلى 5 ملايين صفحة ويب. وفقًا لأبحاث الجهات الخارجية، فهو يتجاوز برامج الزحف الخاصة بـ Yahoo وYandex وهو بلا شك أكثر برامج الزحف نشاطًا بين برامج الزحف الأخرىمقدمو أدوات تحسين محركات البحث. 

لقد كان أداء Ahrefsbot جيدًا بشكل استثنائي في دوره، مما دفع الشركة إلى قمة الصناعة، مع إيرادات سنوية متكررة (ARR) تبلغ100 مليون دولار بحلول عام 2023.

يقوم الروبوت بفهرسة المعلومات الحالية والموثوقة حول مواقع الويب ومحتواها وكيفية ارتباطها ببعضها البعض. هذه البيانات مفيدة ويمكن استخدامها بعدة طرق:

• ابحث باستخدام نعم لـالوصولمحتوى عالي الجودةوجميع المعلومات التي تحتاجها، مع دعم محرك بحث بديل مخصص لوضع الأموال في جيوب منشئي المحتوى المفضلين لديك.

• إذا كنت تدير موقعًا إلكترونيًا، فاستخدم Ahrefs لتحليل بنيته ومحتواه والروابط الخلفيةللحصول على معلومات حول أدائها. ثم قم بتحسينه إلىتعزيزتجربة المستخدم, تحسين تصنيف محركات البحث، وزيادة حركة المرور.

• عندما يتعلق الأمر بالبحث على نطاق الويب، يمكّنك Ahrefs من تتبع النمو في شعبية موقع ويب أو موضوع معين بمرور الوقت، وتحديد مواقع الويب التي ترتبط بأنواع معينة من المحتوى، وتحديد عدد مرات ذكر العلامة التجارية مؤخرًا، من بين مقاييس أخرى.

بالإضافة إلى ذلك، فإن AhrefsBot، مثل أي روبوت جيد، يلتزم بعناية بالقواعد المحددة في ملفات robots.txt، ولا يعرض إعلانات على مواقع الويب، ولا يضخم حركة مرور Google Analytics بشكل مصطنع.

كيف يعمل AhrefsBot؟

يقوم Ahrefsbot بالزحف إلى أكبر عدد ممكن من مواقع الويب. فهو يسجل بيانات الارتباط عالية الجودة في كل عملية زحف ويعيدها إلى قاعدة بيانات Ahrefs.

فيما يلي نظرة عامة سريعة على كيفية عمل AhrefsBot:

أ. الزحف

يبدأ AhrefsBot بالزحف إلى الإنترنت والوصول إلى مواقع الويب وطلب الصفحات من الخوادم. كل 24 ساعة، يقوم بالبحث في6 مليار صفحة ويبويقوم بتحديث فهرس الارتباط كل15 إلى 30 دقيقة. أثناء عملية الزحف، يقوم بتتبع الروابط الموجودة على الصفحات للبحث عن محتوى جديد. الهدف هو إنشاء فهرس كامل لصفحات الإنترنت.

ب. اكتشاف صفحات جديدة

يعثر AhrefsBot على صفحات جديدة باتباع الروابط الموجودة في الفهرس الخاص به. ويساعد ذلك في تحديد المعلومات الجديدة وفهرستها عندما تصبح متاحة عبر الإنترنت.

ج. جمع البيانات

يقوم AhrefsBot بمسح الصفحات وجمع البيانات حول مجموعة متنوعة من المتغيرات المتعلقة بتحسين محركات البحث، بما في ذلك على سبيل المثال لا الحصر:

1. الروابط الخلفية:يقوم AhrefsBot بالعثور على الروابط الخلفية لصفحة معينة وتتبعها، بما في ذلك مجال الارتباط ونص الرابط الخاص بها.

2. الكلمات المفتاحية:يقوم بتحليل محتوى الصفحة لتحديد الكلمات الرئيسية المستهدفة.

3. مكونات تحسين محركات البحث على الصفحة:قد يقوم AhrefsBot بجمع بيانات عن العناصر الموجودة على الصفحة، بما في ذلك العلامات الوصفية والعناوين والجوانب الأخرى المتعلقة بتحسين محركات البحث.

د. تدقيق الموقع

يقوم AhrefsBot بإجراء عمليات تدقيق للموقع، بما في ذلك تحليل موقع الويب الشامل لمشكلات تحسين محركات البحث الشائعة مثل الروابط المعطلة والمحتوى المكرر والعلامات الوصفية المفقودة وغيرها من المعلومات الموجودة على الصفحة وتحسين محركات البحث الفنيةمخاوف.

ه. الفهرسة

ويتم بعد ذلك تحليل البيانات الواردة من AhrefsBot وفهرستها في قاعدة بيانات Ahrefs. يمكن لمستخدمي Ahrefs الحصول على رؤى حول مواقع الويب الخاصة بهم ومواقع المنافسين من خلال الوصول إلى هذه البيانات المفهرسة عبر منصة Ahrefs.

و. تحديثات منتظمة

غالبًا ما يقوم Ahrefs Bot بزيارة مواقع الويب لتحديث فهرسه بمعلومات جديدة. وهذا يعد بأنيحصل مستخدمو Ahrefs على أحدث المعلومات حولموقعهم الأداء وأداء المنافسين في مجالهم.

ز. احترام العلامات الوصفية لـ Robots.txt وNoindex

يتبع AhrefsBot، مثل برامج زحف الويب الأخرى، القيود التي تضعها مواقع الويب عبر ملف robots.txt والعلامات الوصفية مثل "noindex" و"nofollow". إذا قام أحد مواقع الويب بتوجيه AhrefsBot إلى عدم الزحف إلى صفحات أو أجزاء معينة من الموقع، فسوف يتبع هذه التعليمات.

سلسلة وكيل المستخدم AhrefsBot (أحدث إصدار)

عند تحليل سجلات الخادم الخاص بك أو مراقبة نشاط الروبوت، غالبًا ما ستصادف AhrefsBot - الزاحف الرسمي الذي تستخدمه مجموعة أدوات Ahrefs SEO. يقوم بمسح مواقع الويب لجمع الروابط الخلفية وبيانات الكلمات الرئيسية لقاعدة بيانات Ahrefs.

إليك الأحدثسلسلة وكيل المستخدم AhrefsBotسترى عادةً:

أقل نسخ تحريرMozilla/5.0 (متوافق؛ AhrefsBot/7.0؛ +http://ahrefs.com/robot/)

يحدد وكيل المستخدم هذا الزاحف عندما يزور موقع الويب الخاص بك. يعد الرجوع إلى هذه السلسلة الدقيقة أمرًا ضروريًا إذا كنت تريد حظر AhrefsBot أو تصفية نشاطه. ستسجل معظم سجلات الخادم هذا السطر عندما يقوم Ahrefs بالزحف إلى موقعك، مما يسهل اكتشافه.

ملاحظة: يمكنك أيضًا التحقق مما إذا كان الزحف قادمًا من AhrefsBot الحقيقي باستخدام أداة التحقق الرسمية الخاصة بهم.

سواء كنت تقوم بضبط ملف robots.txt الخاص بك أو حماية موقعك من الروبوتات غير الضرورية، فإن معرفة وكيل المستخدم هذا يساعدك على اتخاذ إجراءات مدروسة.

فوائد Ahrefsbot

تشتهر Ahrefs بتحليل الروابط الخلفية الشامل وقدرات تحسين محركات البحث (SEO). يقوم AhrefsBot بجمع البيانات لفهرس Ahrefs ويوفر معلومات مفيدة لأولئك الذين يحاولونتحسين أداء تحسين محركات البحث لموقعهم على الويب.

فيما يلي بعض المزايا التي يقدمها Ahrefsbot:

1. بيانات تحسين محركات البحث العملية

تعتبر بيانات Ahrefsbot ذات قيمة كبيرة لمجتمعات تحسين محركات البحث والتسويق. تساعد البيانات التي تجمعها مُحسّنات محرّكات البحث والمسوقين على تعلم كيفية تحسين مواقعهم الإلكترونية لمحركات البحث الرئيسية مثل Google.

إن السماح لـ Ahrefsbot بالزحف إلى موقع الويب الخاص بك يضمن تحديث قاعدة البيانات الخاصة به باستمرار. يوفر موقع الويب الخاص بك البيانات الأكثر دقة، والتي يمكنك مقارنتها مع منافسيك.

هذا سيساعدك:

• تحسين موقع الويب الخاص بك.
• حدد أولويات ما تحتاج إلى العمل عليه لتحسين تصنيفك.

2. الزحف على الويب

يقوم AhrefsBot بالزحف إلى الويب وفهرسة المواقع بنفس الطريقة التي تفعلها روبوتات محرك البحث. فهو يحدد البيانات ويجمعها من مواقع الويب، مما يؤدي إلى إنشاء قاعدة بيانات كاملة يمكن لمستخدمي Ahrefs الوصول إليها.

3. تحليل الروابط الخلفية

إحدى الميزات الرئيسية لـ Ahrefs هي أداة تحليل الروابط الخلفية. فهو يسهل جمع بيانات الروابط الخلفية، مثل عدد الروابط الخلفية والمجالات المرجعية ونص الرابط. هذه المعلومات مفيدة لـمتخصصون في تحسين محركات البحثالذين يريدون فهم الملف التعريفي لرابط موقعهم الإلكتروني وتلك الخاصة بالمنافسين.

4. البحث عن الكلمات الرئيسية

يوفر Ahrefs مجموعة من أدوات البحث عن الكلمات الرئيسية. يساعد AhrefsBot على اكتشاف الصفحات الجديدة والحالية ذات الصلة بكلمات رئيسية محددة، مما يوفر البيانات اللازمة لتحليل الكلمات الرئيسية، مثل حركة البحث، وصعوبة الكلمات الرئيسية، ونسب النقر إلى الظهور.

5. تتبع الرتبة

يتيح Ahrefs للمستخدمين مشاهدة موقعهم الإلكترونيتصنيفات لكلمات رئيسية محددةمتأخر , بعد فوات الوقت. يساهم AhrefsBot في جمع بيانات التصنيف عن طريق الزحف بانتظام إلى الصفحات وفهرستها لتحديد موقعها في نتائج محرك البحث لـالكلمات المفتاحية.

عيوب Ahrefsbot

يجب أن تكون على دراية بعيوب AhrefsBot. يمكن أن يسبب كل منها مشاكل غير مرغوب فيها على موقع الويب الخاص بك وقد لا يستحق المخاطرة.

1. يمكن لـ AhrefsBot إبطاء موقعك

عندما يقوم Ahrefsbot بالزحف إلى موقعك، فإنه يتم تحميله مثل أي مستخدم آخر ويستهلك النطاق الترددي. إذا قام Ahrefsbot بالزحف إلى موقع الويب الخاص بك كثيرًا، فقد يستهلك نطاقًا تردديًا زائدًا، مما يتسبب في تحميل الموقع بشكل أبطأ للزائرين الآخرين.

تعد السرعة أحد عوامل التصنيف المهمة في Google والتي يمكن أن تؤثر سلبًا على تجربة المستخدم.

2. يمكن استخدام AhrefsBot بواسطة مرسلي البريد العشوائي

باعتبارنا مالكي مواقع الويب، يجب أن نكون على دراية بمرسلي البريد العشوائي. ليس هناك ما هو أسوأ من تلقي سيل من زيارات الإحالة غير المرغوب فيها غير المرغوب فيها والتي تشوش تقرير Google Analytics وتؤثر على أداء موقع الويب الخاص بك.

يمكن لمرسلي البريد العشوائي استخدام وكيل مستخدم Ahrefsbot من أجل:

• إرسال رسائل غير مرغوب فيها بشكل متكرر إلى موقع الويب الخاص بك.
• إرسال حركة الإحالة الزائفة.
• كشط البيانات الهامة.

إذا كنت تتلقى الكثير من الزيارات من Ahrefsbot، فيجب عليك فحصها ومقارنتها بنطاقات عناوين IP الرسمية لـ Ahrefs.

كيفية إدارة Ahrefsbot على موقعك؟

يمكن حظر AhrefsBot أو تقييده باستخدام ملف robots.txt أو .htaccess الخاص بك.

الطريقة الأولى: حظر Ahrefsbot باستخدام Robots.txt

تنص Ahrefs على أن Ahrefsbot يتبع إرشادات ملف robots.txt. يمكنك حظر Ahrefsbot عن طريق إضافة قواعد جديدة إلى ملف robots.txt الخاص بك.

لديك خياران هنا:

• قم بتغيير عدد مرات زيارة AhrefsBot لموقعك.
• منع AhrefsBot تمامًا من عرض موقع الويب الخاص بك.

لضبط معدل تكرار زيارة Ahrefsbot لموقع الويب الخاص بك، قم بإضافة الكود التالي إلى ملف robots.txt الخاص بك:

تمثل قيمة تأخير الزحف التأخير المسجل بالثواني. قم بتعيين هذه القيمة على عدد الثواني للتأخير بين كل زحف إلى Ahrefsbot.

هل تريد حظر Ahrefsbot بالكامل؟

للقيام بذلك، قم بإضافة علامة عدم السماح إلى ملف robots.txt الخاص بك. استخدم السمة التالية:

يجب أن يتبع Ahrefsbot قاعدة robots.txt التي قمت بإعدادها للتو.

الطريقة الثانية: حظر AhrefsBot باستخدام ملف htaccess

هذه الإستراتيجية جيدة جدًا في حظر AhrefsBot وتمنحك المزيد من التحكم.

على عكس الطريقة 1، التي تعتمد على Ahrefsbot لاتباع القواعد التي تضعها، تمنحك الطريقة 2 التحكم الكامل في الخادم.

ستضيف نطاق عناوين IP الخاص بـ Ahrefsbot وتحظره بناءً على تلك العناوين.

والآن السؤال الذي يطرح نفسه هنا…

هل يجب عليك حظر Ahrefsbot؟

قبل استخدام مصطلح "البلوك"، قم بتحليل إيجابياته وسلبياته:

إذا

• يؤدي حظر Ahrefsbot إلى الحفاظ على موارد الخادم وقد يؤدي إلى تحسين أداء الصفحة.
• إذا كنت قلقًا بشأن الكشف عن بيانات حساسة، فقد يساعدك الحظر. 

ومن ثم، قد يكون من المناسب حظره.

إذا

• قد يمنعك حظر Ahrefsbot من الوصول إلى تحليل الروابط الخلفية والبحث التنافسي وبيانات الكلمات الرئيسية.
• تعتمد أدوات Ahrefs على بيانات Ahrefsbot؛ يمكن أن يؤدي تعطيله إلى تقليل ظهور موقع الويب الخاص بك في تقاريره وتصنيفاته.

بعد ذلك، لا تحظر Ahrefsbot لأنك تريد إبقاء موقع الويب الخاص بك محدثًا في فهرس Ahrefs.

أخيرًا، يمكن أن يساعدك هذا السؤال في تحديد ما إذا كنت تريد استخدام Ahrefsbot أم لا.

"هل هذا يفيد موقع الويب الخاص بي أم يضر موقع الويب الخاص بي؟"

لا يمكنك معرفة ذلك إلا من خلال مراجعة سجلات الوصول إلى موقعك.

AhrefsBot مقابل برامج الزحف الأخرى لتحسين محركات البحث (SemrushBot، Moz، وما إلى ذلك)

AhrefsBot ليس متتبع تحسين محركات البحث (SEO) الوحيد الذي يزور موقع الويب الخاص بك. أدوات تحسين محركات البحث الشائعة الأخرى، مثلسمرش,موزوصراخ الضفدع، استخدم أيضًا الروبوتات لجمع البيانات. وإليك كيفية مقارنة AhrefsBot بها من حيث السلوك والاستخدام:

اسم البوت	مثال لوكيل المستخدم	الغرض	تردد الزحف	احترام ملف robots.txt؟
AhrefsBot	AhrefsBot/7.0 (+http://ahrefs.com/robot/)	جمع بيانات الباك لينك و SEO	عالية	نعم
سمرشبوت	Mozilla/5.0 (متوافق؛ SemrushBot/7~bl؛ +http://www.semrush.com/bot.html)	تدقيقات تحسين محركات البحث، بيانات الكلمات الرئيسية	متوسطة-عالية	نعم
موز روجر بوت	rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot)	مقاييس الارتباط، مؤشر Moz	متوسطة	نعم
صراخ الضفدع SEO العنكبوت	وكيل مستخدم مخصص (يمكن للمستخدم تعيينه)	عمليات تدقيق الموقع حسب الطلب	التحكم بواسطة المستخدم	نعم

الاختلافات الرئيسية:

• AhrefsBotيعد أحد أكثر برامج الزحف عدوانية من حيث التردد، خاصة إذا كان موقعك يحتوي على روابط خلفية أو يتم مراقبته من خلال مشاريع Ahrefs.
• سمرشبوتوموز روجر بوتتكون أكثر اعتدالًا وترتبط عادةً بعمليات التدقيق التي يقوم بها المستخدم أو بتحديثات الفهرس الدورية.
• صراخ الضفدعلا يزحف إلى موقعك ما لم يستخدم شخص ما الأداة يدويًا - فهي ليست آلية مثل الآخرين.

إذا كنت تعاني من ارتفاع عدد زيارات الروبوتات، فمن المفيد تحديد روبوتات تحسين محركات البحث (SEO) التي تصل إلى خادمك وتحديد ما إذا كانت تضيف قيمة أو يجب حظرها.

نصيحة: استخدم سجلات خادمك أو أدواته مثل تحليلات Cloudflare لتتبع عدد مرات زيارات كل روبوت والصفحات التي يصل إليها.

خاتمة

الآن، لدينا خيار التعامل مع Ahrefsbot كعدو يجب هزيمته أو كصديق يجب السيطرة عليه. إن فهم طبيعة Ahrefsbot الحقيقية واتخاذ التدابير المناسبة سيسمح لنا بالاستفادة من إمكاناته مع تخفيف المخاطر الخفية.

يمكننا تغييره من عدو خطير إلى صديق قوي، مما يساعد مواقعنا الإلكترونية على الوصول إلى آفاق جديدة من الإنجاز.

لا تنس الاطلاع على منشوراتنا الأخيرة على مدونتنا:

• تجريف الويب باستخدام Chrome – 10 إضافات Chrome
• ما هو Janitor.ai؟ ما الذي يجعلها فريدة من نوعها؟
• هل جوجل دائما على حق؟ الحقيقة حول بحث جوجل
• كيف نقوم بتحليل فجوة المحتوى؟ الدليل الكامل هنا!
• أسرار تحسين محركات البحث: قوة مغناطيس الارتباط
• عيوب الذكاء الاصطناعي في التعليم
• استراتيجيات تحسين محركات البحث للأمن السيبراني لعام 2025: تعزيز تصنيفاتك
• مسار المبيعات لتحسين محركات البحث: تعزيز العملاء المحتملين والتحويلات
• ما هو تعفن الارتباط؟ كيفية التعامل معها؟

الأسئلة الشائعة