حل مشكلة عدم أرشفة صفحات موقعك الإلكتروني أو تأخرها لدى جوجل ... إدارة ميزانية زحف جوجل

نشرح في هذا المقال حل مشكلة عدم أرشفة صفحات موقعك الإلكتروني أو تأخر فهرستها  من قبل محرك البحث جوجل.. في البداية أختبر تحقق عملية أرشفة موضوعاتك من خلال أداة فحص عنوان URL لمعرفة سبب عدم فهرسة صفحتك.

مفهوم الزحف عند جوجل :

تقوم جوجل بفرض حدود على الوقت الذي يستغرقه الزاحف googlebot  في الزحف الى الموقع الالكتروني ويُشار الى الوقت والموارد المستهلكة في عملية الزحف بعابرة ميزانية الزحف.

أقرأ أيضا .. 8 خطوات لخفض معدل الارتداد ... ما هو معدل مرات الخروج

ميزانية الزحف تتحدد استنادًا إلى عنصرَين أساسيَين:

·       الحد الأقصى لسعة الزحف

·       طلب الزحف.

الحد الأقصى لسعة الزحف

يلعب هنا السيرفر أو الاستضافة التي تستضيف موقعك دورا هاما حيث تعد سرعة الموقع عند طلب بيانات معينة وسرعة معدل نقل البيانات ووقت التفسير عوامل هامة في تقييم جوجل لميزانية الزحف.

 يهدف زاحف جوجل Googlebot الوصول إلى موقعك الإلكتروني بدون تحميل الخوادم عبئًا زائدًا  لذلك، يحتسب Googlebot الحد الاقصى لسعة الزحف، وهو الحد الأقصى لعدد الاتصالات المتوازية والمتزامنة التي يمكن لبرنامج Googlebot استخدامها للزحف إلى موقع إلكتروني.

هذا بالإضافة إلى مدة التأخير الفاصلة بين عمليات جلب البيانات ويتم احتساب ذلك لتوفير تغطية لكل المحتوى المهم الذي تعرضه بدون تحميل خوادم موقعك الإلكتروني عبئًا زائدًا.

أقرأ أيضا ... اختيار عنوان متوافق مع معايير السيو

قد يرتفع أو ينخفض الحدّ الأقصى لسعة الزحف استنادًا إلى بضعة عوامل:

سلامة الزحف:

إذا استجاب الموقع الإلكتروني بسرعة عالية لبعض الوقت، سيرتفع الحدّ الأقصى، أي أنه يمكن استخدام المزيد من الاتصالات للزحف.

أما إذا كانت استجابة الموقع الإلكتروني بطيئة أو كانت تشير إلى أخطاء في الخادم، سينخفض الحدّ الأقصى لسعة الزحف وسيزحف Googlebot بمعدّل أقل.

الحدّ الأقصى الذي ضبطه مالك الموقع الإلكتروني في Search Console:

 منحت جوجل مالكي المواقع الإلكترونية الحرية في خفض معدّل زحف Googlebot إلى مواقعهم الإلكترونية بشكل اختياري مع الأخذ في الاعتبار أنّ ضبط حدّ أعلى للزحف لن يؤدي إلى زيادة معدّل الزحف تلقائيًا.

حدود الزحف لدى Google:

 تملك Google العديد من الأجهزة، ولكن ليس بكمية لا متناهية لذلك، فعليها تحديد الخيارات باستخدام الموارد المتاحة لنا.

طلب الزحف :

يخصّص محرّك بحث Google عادةً وقتًا كافيًا للزحف إلى موقع إلكتروني استنادًا إلى :

1.  حجمه .

2.  معدّل تعديله.

3.  جودة الصفحة.

4.  مدى الصلة بالموضوع مقارنةً بمواقع أخرى.

أقرأ أيضا .. احذر حيل السيرفرات .. الروابط الخارجية سلاح ذو حدين

العوامل التي تؤدي دورًا مهمًا في تحديد طلب الزحف :

عناوين URL المخزّنة التي يتم رصدها:

عليك دورا هاما لتسهيل مهمة زاحف جوجل من خلال تقديم خريطة للموضوعات المتجددة sitemap ففي حال لم تقدّم أي إرشادات إلى Googlebot، سيحاول الزحف إلى جميع أو معظم عناوين URL التي يرصدها على موقعك الإلكتروني.

 وإذا كان العديد من عناوين URL هذه نسخًا مكرّرة أو كنت لا تريد أن يتم الزحف إليها لسبب آخر (تمت إزالتها أو أنّها غير مهمة وما شابه)، سيؤدي ذلك إلى إهدار الكثير من الوقت الذي يخصّصه محرّك بحث Google للزحف إلى موقعك الإلكتروني. وهذا أكثر عامل يمكن التحكّم به بصورة إيجابية.

مدى رواج موقعك :

 يتم عادةً الزحف بمعدّل أعلى إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف تعديلها باستمرار في فهرسنا.

أقدمية الموقع والدومين:

تهتم جوجل بإعادة الزحف إلى المستندات بشكل متكرّر بما يكفي لرصد أي تغييرات.

بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل بيانات الموقع الإلكتروني، إلى زيادة معدّل طلب الزحف لإعادة فهرسة المحتوى ضمن عناوين URL الجديدة.

كيف يمكنني زيادة ميزانية الزحف؟

يحدّد محرّك بحث Google مقدار الموارد المخصصة لعملية الزحف والتي سيتم منحها لكل موقع إلكتروني استنادًا إلى مدى رواجه وقيمته للمستخدمين ومدى تفرّده وسعة العرض لديه. ولا يمكن زيادة ميزانية الزحف إلّا من خلال زيادة سعة العرض لعمليات الزحف، والأهم من ذلك، زيادة قيمة المحتوى المقدَّم على موقعك للمستخدمين.

يمكنك تحسين كفاءة الزحف إلى أقصى حدّ عبر الممارسات التالية:

إدارة عناوين URL المخزّنة:

استخدِم الأدوات المناسبة لإبلاغ محرّك بحث Google بالصفحات المطلوب الزحف إليها والصفحات التي لا تريد الزحف إليها. إذا قضى محرّك بحث Google الكثير من الوقت في الزحف إلى عناوين URL غير مناسبة للفهرس، قد يستنتج برنامج Googlebot أنّه من غير المجدي تخصيص وقت للاطّلاع على بقية أجزاء موقعك الإلكتروني (أو زيادة ميزانيتك لإجراء ذلك).

دمج المحتوى المكرّر:

أزِل المحتوى المكرّر واستخدم ملف robots.txt.

احظر الزحف إلى عناوين URL التي لا تريد فهرستها. قد تكون بعض الصفحات مهمة للمستخدمين، ولكنك لا تريد ظهورها على سبيل المثال النُسخ المتعدّدة من الصفحة ذاتها والمرتّبة بشكل مختلف. إذا لم تتمكن من دمج المحتوى المكرّر كما هو موضّح في النقطة الأولى، احظر هذه الصفحات غير المهمة (للبحث) باستخدام ملف robots.txt.

لا تستخدم علامة noindex، لأنّ محرّك بحث Google سيظل يطلب الزحف إلى الصفحة ثم سيزيلها من نتائج البحث عندما يرى علامة noindex، ما يؤدي إلى إهدار وقت الزحف. لا تستخدم ملف robots.txt لإعادة تخصيص ميزانية الزحف مؤقتًا للصفحات الأخرى، بل استخدِمه لحظر الصفحات أو الموارد التي لا تريد من محرّك بحث Google أن يزحف إليها مطلقًا. ولن تحوّل Google ميزانية الزحف المتاحة حديثًا إلى صفحات أخرى ما لم يبلغ محرّك بحث Google حدّ العرض الأقصى لمحتوى موقعك الإلكتروني.

عرض الرمز 404/410 للصفحات التي تمت إزالتها نهائيًا: لن ينسى محرّك بحث Google عنوان URL اطّلع عليه سابقًا، ولكنّ الرمز 404 هو إشارة قوية بعدم الزحف إلى عنوان URL هذا مجددًا. وستبقى عناوين URL المحظورة جزءًا من قائمة انتظار الزحف لفترة أطول، وستتم إعادة الزحف إليها عند إزالة الحظر.

تعديل خريطة الموقع باستمرار:

يقرأ محرّك بحث Google خريطة الموقع بانتظام، لذا تأكّد من تضمين كل المحتوى الذي تريد أن يزحف Google إليه. إذا كان موقعك الإلكتروني يتضمّن محتوى تم تعديله، ننصحك بتضمين علامة <lastmod>.

تجنُّب سلاسل إعادة التوجيه الطويلة التي تؤثّر سلبًا في عملية الزحف

تحسين صفحاتك ليتم تحميلها بشكل أسرع:

 إذا كان بإمكان محرّك بحث Google تحميل صفحاتك وعرضها بشكل أسرع، سوف يتمكن من قراءة المزيد من المحتوى على موقعك الإلكتروني.

مراقبة عملية الزحف إلى موقعك الإلكتروني: تأكّد من أنّ موقعك الإلكتروني خالٍ من أي مشاكل في مدى التوفّر أثناء عملية الزحف، وابحث عن طرق لجعل عملية الزحف أكثر فعالية.

أقرأ أيضا ... هل تحملك جوجل مسئولية الزيارات غير الصالحة لاعلانات ادسنس

كيف تراقب عملية الزحف والفهرسة لموقعك الالكتروني :

في ما يلي الخطوات الأساسية لمراقبة ملف الزحف الخاص بموقعك الإلكتروني:

·       التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني

·       التحقّق مما إذا كانت لديك صفحات لا يتم الزحف إليها في حين أنّ ذلك ضروري

·       التحقّق مما إذا كان يجب زيادة سرعة الزحف إلى أي جزء من موقعك الإلكتروني

·       تحسين كفاءة الزحف إلى موقعك الإلكتروني

·       معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني

التشخيص:

حلول لتحسين عملية الزحف:

1.  الاطّلاع على مستندات تقرير إحصاءات الزحف للتعرّف على طريقة العثور على بعض المشاكل المرتبطة بمدى التوفّر وحلّها

2.  حظر الزحف إلى الصفحات التي لا تريد أن يتم الزحف إليها (راجِع إدارة مخزن بياناتك)

3.  زيادة سرعة تحميل وعرض الصفحة (راجِع تحسين كفاءة الزحف إلى موقعك الإلكتروني)

4.  زيادة سعة الخادم: إذا بدا لك أنّ محرّك البحث Google يزحف باستمرار إلى موقعك الإلكتروني وصولاً إلى الحدّ الأقصى لسعة العرض ولكن لا تزال لديك عناوين URL مهمة لا يتم الزحف إليها أو تعديلها بالمقدار المطلوب، قد يتمكّن محرّك البحث Google من طلب المزيد من الصفحات على موقعك الإلكتروني إذا تم توفير المزيد من موارد العرض. تحقّق من سجلّ مدى توفر المضيف في تقرير إحصاءات الزحف لمعرفة ما إذا كان معدّل الزحف لمحرّك البحث Google يتجاوز خطّ الحدّ الأقصى بشكل متكرّر. في تلك الحالة، يمكنك زيادة موارد العرض لمدة شهر ومراقبة ما إذا كانت طلبات الزحف قد ازدادت خلال الفترة نفسها.

تذكّر أنه في معظم المواقع الإلكترونية، يستغرق ظهور الصفحات الجديدة عدة أيام كحدّ أدنى، ومن غير المتوقّع أن يتم الزحف إلى عناوين URL على المواقع الإلكترونية في اليوم نفسه باستثناء المواقع الحساسة للوقت، مثل مواقع الأخبار.

حلول اضافية لتسريع عملية الزحف:

إذا كنت تضيف صفحات إلى موقعك الإلكتروني ولا يتم الزحف إليها خلال فترة زمنية معقولة، يشير ذلك إلى أنّ محرّك البحث Google لا يعرف بها أو أنّ المحتوى محظور أو أنّ موقعك الإلكتروني قد وصل إلى الحد الأقصى لسعة العرض أو أنّ ميزانية الزحف قد نفدت لموقعك الإلكتروني.

1.  أطلِع محرّك بحث Google على صفحاتك الجديدة: عدِّل خرائط الموقع من خلال تضمين عناوين URL الجديدة.

2.  راجِع قواعد robots.txt للتأكد من أنّك لا تحظر صفحات عن طريق الخطأ.

3.  راجِع أولويات الزحف (المعروفة أيضًا باستخدام ميزانية الزحف بطريقة فعالة). عليك إدارة مخزن البيانات وتحسين كفاءة الزحف إلى موقعك الإلكتروني.

4.  تأكّد من عدم نفاد سعة العرض لموقعك الإلكتروني. سيخفّض Googlebot معدّل الزحف إذا وجد أنّ الخوادم تواجه مشكلة في الاستجابة لطلبات الزحف.

5.  يُرجى العِلم بأنّه قد لا يتم عرض الصفحات في نتائج البحث حتى إذا تم الزحف إليها في حال لم يكن هناك قيمة كافية للمحتوى أو طلب من المستخدمين عليه.

6.  استخدام خريطة موقع الأخبار إذا كان موقعك الإلكتروني يعرض محتوى إخباريًا إبلاغ Google عند نشر أو تغيير ملف Sitemap

7.  استخدام علامة <lastmod> في خرائط الموقع الإلكتروني للإشارة إلى الوقت الذي تم فيه تعديل عنوان URL المفهرَس

8.  استخدام بنية عنوان URL بسيطة لمساعدة محرّك البحث Google في العثور على صفحاتك

9.  توفير روابط <a> قابلة للزحف وعادية لمساعدة محرّك البحث Google في العثور على صفحاتك

10.                    تجنَّب ما يلي:

11.                    إرسال ملف Sitemap غير المعدّل نفسه عدة مرات يوميًا

12.                    التوقُّع أنّ Googlebot سيزحف إلى كل محتوى ملف Sitemap، أو أنّه سيزحف إليه على الفور تشكّل ملفات Sitemap اقتراحات مفيدة لبرنامج Googlebot، وهي ليست شرطًا أساسيًا

13.                    تضمين عناوين URL في خرائط الموقع الإلكتروني التي لا تريدها أن تظهر يمكن أن يؤدي هذا الإجراء إلى إهدار ميزانية الزحف على الصفحات التي لا تريد فهرستها

 تحسين كفاءة الزحف إلى موقعك الإلكتروني

زيادة سرعة تحميل الصفحة

تتأثّر عملية زحف محرّك البحث Google بعدّة عوامل، وهي معدّل نقل البيانات والوقت ومدى توفّر Googlebot. وفي حال كان خادمك يستجيب للطلبات بشكل أسرع، قد نتمكن من الزحف إلى المزيد من الصفحات على موقعك الإلكتروني. يريد محرّك البحث Google الزحف إلى محتوى عالي الجودة فقط، لذلك لن تؤدي زيادة سرعة الصفحات ذات الجودة المنخفضة إلى تشجيع Googlebot على الزحف إلى مزيد من الصفحات على موقعك الإلكتروني. وفي المقابل، إذا كنا نعتقد أنه يفوتنا الزحف إلى محتوى عالي الجودة على موقعك الإلكتروني، من المرجح أن نزيد ميزانية الزحف لموقعك الإلكتروني كي تزحف برامجنا إلى ذلك المحتوى.

تجنَّب ما يلي:

·       لا تضِف أو تزِل صفحات أو أدلة من ملف robots.txt بانتظام كطريقة لإعادة تخصيص ميزانية الزحف الخاصة بموقعك الإلكتروني. استخدِم ملف robots.txt فقط للصفحات أو الموارد التي لا تريدها أن تظهر في نتائج البحث على Google في المدى الطويل.

·       لا تبدِّل ملفات Sitemap أو تستخدم آليات إخفاء مؤقّت أخرى بهدف إعادة تخصيص ميزانية الزحف.

خطوات لإبطاء معدّل زحف Googlebot إذا كان يزيد الحِمل على الموقع الإلكتروني:

اعرض رموز نتيجة HTTP 503/429 مؤقتًا لطلبات Googlebot عندما يكون الحِمل زائدًا على الخادم. سيعيد Googlebot محاولة الزحف إلى عناوين URL هذه لمدة يومين تقريبًا. يُرجى العِلم بأنّ عرض رموز "عدم التوفّر" لأكثر من بضعة أيام سيؤدي إلى إبطاء أو إيقاف عملية زحف محرّك بحث Google إلى عناوين URL على موقعك الإلكتروني بشكلٍ دائم، لذا عليك اتّباع الخطوات الإضافية التالية.

اخفض معدّل زحف Googlebot إلى موقعك الإلكتروني. قد يستغرق هذا الإجراء يومَين كي يدخل حيّز التنفيذ، ويتطلّب أذونات مالك الموقع على Search Console. لا تنفِّذ هذا الإجراء إلا إذا لاحظت أنّ محرّك بحث Google يجري عمليات زحف زائدة ومتكرّرة لمدة طويلة.

عندما ينخفض معدّل الزحف، أوقِف عرض رسالة 503/429 لطلبات الزحف، لأنّ عرض الرمز 503 لفترة تتجاوز يومَين سيؤدي إلى إزالة عناوين URL التي تعرض الرمز 503 من الفهرس.

راقِب معدّل الزحف وسعة المضيف بمرور الوقت لمعرفة ما إذا كان من المناسب رفع معدّل الزحف مجددًا أو السماح بالعودة إلى معدّل الزحف التلقائي.

تأخر أرشفة الصفحات    زاحف جوجل       ملف robots.txt