نصائح جوجل لأرشفة موقعك بسرعة ... طرق تحسين فهرسة الموضوعات

 نشرح في هذا المقال حل مشكلة عدم أرشفة صفحات موقعك الإلكتروني أو تأخر فهرستها  من قبل محرك البحث جوجل.. في البداية أختبر تحقق عملية أرشفة موضوعاتك من خلال أداة فحص عنوان URL لمعرفة سبب عدم فهرسة صفحتك.

مفهوم الزحف والفهرسة عند جوجل :

تقوم جوجل بفرض حدود على الوقت الذي يستغرقه الزاحف googlebot  في الزحف والفهرسة الى الموقع الالكتروني ويُشار الى الوقت والموارد المستهلكة في عملية الزحف والفهرسة بعبارة ميزانية الزحف.

ميزانية الزحف والفهرسة تتحدد استنادًا إلى عنصرَين أساسيَين:

·       الحد الأقصى لسعة الزحف

·       طلب الزحف.

الحد الأقصى لسعة الزحف

يلعب هنا السيرفر أو الاستضافة التي تستضيف موقعك دورا هاما حيث تعد سرعة الموقع عند طلب بيانات معينة وسرعة معدل نقل البيانات ووقت التفسير عوامل هامة في تقييم جوجل لميزانية الزحف.

 يهدف زاحف جوجل Googlebot الوصول إلى موقعك الإلكتروني بدون تحميل الخوادم عبئًا زائدًا  لذلك، يحتسب Googlebot الحد الاقصى لسعة الزحف، وهو الحد الأقصى لعدد الاتصالات المتوازية والمتزامنة التي يمكن لبرنامج Googlebot استخدامها للزحف إلى موقع إلكتروني.

هذا بالإضافة إلى مدة التأخير الفاصلة بين عمليات جلب البيانات ويتم احتساب ذلك لتوفير تغطية لكل المحتوى المهم الذي تعرضه بدون تحميل خوادم موقعك الإلكتروني عبئًا زائدًا.

قد يرتفع أو ينخفض الحدّ الأقصى لسعة الزحف والفهرسة استنادًا إلى بضعة عوامل:

سلامة الزحف:                                              

إذا استجاب الموقع الإلكتروني بسرعة عالية لبعض الوقت، سيرتفع الحدّ الأقصى، أي أنه يمكن استخدام المزيد من الاتصالات للزحف.

أما إذا كانت استجابة الموقع الإلكتروني بطيئة أو كانت تشير إلى أخطاء في الخادم، سينخفض الحدّ الأقصى لسعة الزحف والفهرسة وسيزحف Googlebot بمعدّل أقل.

الحدّ الأقصى الذي ضبطه مالك الموقع الإلكتروني في Search Console:

 منحت جوجل مالكي المواقع الإلكترونية الحرية في خفض معدّل زحف Googlebot إلى مواقعهم الإلكترونية بشكل اختياري مع الأخذ في الاعتبار أنّ ضبط حدّ أعلى للزحف لن يؤدي إلى زيادة معدّل الزحف والفهرسة تلقائيًا.

حدود الزحف والفهرسة لدى Google:

 تملك Google العديد من الأجهزة، ولكن ليس بكمية لا متناهية لذلك، فعليها تحديد الخيارات باستخدام الموارد المتاحة لنا.

طلب الزحف والفهرسة :

يخصّص محرّك بحث Google عادةً وقتًا كافيًا للزحف إلى موقع إلكتروني استنادًا إلى :

1.   حجمه .

2.   معدّل تعديله.

3.   جودة الصفحة.

4.   مدى الصلة بالموضوع مقارنةً بمواقع أخرى.

العوامل التي تؤدي دورًا مهمًا في تحديد طلب الزحف والفهرسة :

عناوين URL المخزّنة التي يتم رصدها:

عليك دورا هاما لتسهيل مهمة زاحف جوجل من خلال تقديم خريطة للموضوعات المتجددة sitemap ففي حال لم تقدّم أي إرشادات إلى Googlebot، سيحاول الزحف والفهرسة إلى جميع أو معظم عناوين URL التي يرصدها على موقعك الإلكتروني.

 وإذا كان العديد من عناوين URL هذه نسخًا مكرّرة أو كنت لا تريد أن يتم الزحف والفهرسة إليها لسبب آخر (تمت إزالتها أو أنّها غير مهمة وما شابه)، سيؤدي ذلك إلى إهدار الكثير من الوقت الذي يخصّصه محرّك بحث Google للزحف إلى موقعك الإلكتروني. وهذا أكثر عامل يمكن التحكّم به بصورة إيجابية.

مدى رواج موقعك :

 يتم عادةً الزحف والفهرسة بمعدّل أعلى إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف تعديلها باستمرار في فهرسنا.

أقدمية الموقع والدومين:

تهتم جوجل بإعادة الزحف والفهرسة إلى المستندات بشكل متكرّر بما يكفي لرصد أي تغييرات.

بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل بيانات الموقع الإلكتروني، إلى زيادة معدّل طلب الزحف والفهرسة لإعادة فهرسة المحتوى ضمن عناوين URL الجديدة.

كيف يمكنني زيادة ميزانية الزحف؟

يحدّد محرّك بحث Google مقدار الموارد المخصصة لعملية الزحف والفهرسة والتي سيتم منحها لكل موقع إلكتروني استنادًا إلى مدى رواجه وقيمته للمستخدمين ومدى تفرّده وسعة العرض لديه. ولا يمكن زيادة ميزانية الزحف والفهرسة إلّا من خلال زيادة سعة العرض لعمليات الزحف، والأهم من ذلك، زيادة قيمة المحتوى المقدَّم على موقعك للمستخدمين.

يمكنك تحسين كفاءة الزحف والفهرسة إلى أقصى حدّ عبر الممارسات التالية:

إدارة عناوين URL المخزّنة:

استخدِم الأدوات المناسبة لإبلاغ محرّك بحث Google بالصفحات المطلوب الزحف والفهرسة إليها والصفحات التي لا تريد الزحف والفهرسة إليها. إذا قضى محرّك بحث Google الكثير من الوقت في الزحف والفهرسة إلى عناوين URL غير مناسبة للفهرس، قد يستنتج برنامج Googlebot أنّه من غير المجدي تخصيص وقت للاطّلاع على بقية أجزاء موقعك الإلكتروني (أو زيادة ميزانيتك لإجراء ذلك).

دمج المحتوى المكرّر:

أزِل المحتوى المكرّر واستخدم ملف robots.txt.

احظر الزحف والفهرسة إلى عناوين URL التي لا تريد فهرستها. قد تكون بعض الصفحات مهمة للمستخدمين، ولكنك لا تريد ظهورها على سبيل المثال النُسخ المتعدّدة من الصفحة ذاتها والمرتّبة بشكل مختلف. إذا لم تتمكن من دمج المحتوى المكرّر كما هو موضّح في النقطة الأولى، احظر هذه الصفحات غير المهمة (للبحث) باستخدام ملف robots.txt.

لا تستخدم علامة noindex، لأنّ محرّك بحث Google سيظل يطلب الزحف والفهرسة إلى الصفحة ثم سيزيلها من نتائج البحث عندما يرى علامة noindex، ما يؤدي إلى إهدار وقت الزحف. لا تستخدم ملف robots.txt لإعادة تخصيص ميزانية الزحف والفهرسة مؤقتًا للصفحات الأخرى، بل استخدِمه لحظر الصفحات أو الموارد التي لا تريد من محرّك بحث Google أن يزحف إليها مطلقًا. ولن تحوّل Google ميزانية الزحف والفهرسة المتاحة حديثًا إلى صفحات أخرى ما لم يبلغ محرّك بحث Google حدّ العرض الأقصى لمحتوى موقعك الإلكتروني.

عرض الرمز 404/410 للصفحات التي تمت إزالتها نهائيًا: لن ينسى محرّك بحث Google عنوان URL اطّلع عليه سابقًا، ولكنّ الرمز 404 هو إشارة قوية بعدم الزحف والفهرسة إلى عنوان URL هذا مجددًا. وستبقى عناوين URL المحظورة جزءًا من قائمة انتظار الزحف والفهرسة لفترة أطول، وستتم إعادة الزحف والفهرسة إليها عند إزالة الحظر.

تعديل خريطة الموقع باستمرار:

يقرأ محرّك بحث Google خريطة الموقع بانتظام، لذا تأكّد من تضمين كل المحتوى الذي تريد أن يزحف Google إليه. إذا كان موقعك الإلكتروني يتضمّن محتوى تم تعديله، ننصحك بتضمين علامة <lastmod>.

تجنُّب سلاسل إعادة التوجيه الطويلة التي تؤثّر سلبًا في عملية الزحف

تحسين صفحاتك ليتم تحميلها بشكل أسرع:

 إذا كان بإمكان محرّك بحث Google تحميل صفحاتك وعرضها بشكل أسرع، سوف يتمكن من قراءة المزيد من المحتوى على موقعك الإلكتروني.

مراقبة عملية الزحف والفهرسة إلى موقعك الإلكتروني: تأكّد من أنّ موقعك الإلكتروني خالٍ من أي مشاكل في مدى التوفّر أثناء عملية الزحف، وابحث عن طرق لجعل عملية الزحف والفهرسة أكثر فعالية.

كيف تراقب عملية الزحف والفهرسة والفهرسة لموقعك الالكتروني :

في ما يلي الخطوات الأساسية لمراقبة ملف الزحف والفهرسة الخاص بموقعك الإلكتروني:

·       التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني

·       التحقّق مما إذا كانت لديك صفحات لا يتم الزحف والفهرسة إليها في حين أنّ ذلك ضروري

·       التحقّق مما إذا كان يجب زيادة سرعة الزحف والفهرسة إلى أي جزء من موقعك الإلكتروني

·       تحسين كفاءة الزحف والفهرسة إلى موقعك الإلكتروني

·       معالجة عمليات الزحف والفهرسة الزائدة إلى موقعك الإلكتروني

التشخيص:

حلول لتحسين عملية الزحف:

1.   الاطّلاع على مستندات تقرير إحصاءات الزحف والفهرسة للتعرّف على طريقة العثور على بعض المشاكل المرتبطة بمدى التوفّر وحلّها

2.   حظر الزحف والفهرسة إلى الصفحات التي لا تريد أن يتم الزحف والفهرسة إليها (راجِع إدارة مخزن بياناتك)

3.   زيادة سرعة تحميل وعرض الصفحة (راجِع تحسين كفاءة الزحف والفهرسة إلى موقعك الإلكتروني)

4.   زيادة سعة الخادم: إذا بدا لك أنّ محرّك البحث Google يزحف باستمرار إلى موقعك الإلكتروني وصولاً إلى الحدّ الأقصى لسعة العرض ولكن لا تزال لديك عناوين URL مهمة لا يتم الزحف والفهرسة إليها أو تعديلها بالمقدار المطلوب، قد يتمكّن محرّك البحث Google من طلب المزيد من الصفحات على موقعك الإلكتروني إذا تم توفير المزيد من موارد العرض. تحقّق من سجلّ مدى توفر المضيف في تقرير إحصاءات الزحف والفهرسة لمعرفة ما إذا كان معدّل الزحف والفهرسة لمحرّك البحث Google يتجاوز خطّ الحدّ الأقصى بشكل متكرّر. في تلك الحالة، يمكنك زيادة موارد العرض لمدة شهر ومراقبة ما إذا كانت طلبات الزحف والفهرسة قد ازدادت خلال الفترة نفسها.

تذكّر أنه في معظم المواقع الإلكترونية، يستغرق ظهور الصفحات الجديدة عدة أيام كحدّ أدنى، ومن غير المتوقّع أن يتم الزحف والفهرسة إلى عناوين URL على المواقع الإلكترونية في اليوم نفسه باستثناء المواقع الحساسة للوقت، مثل مواقع الأخبار.

حلول اضافية لتسريع عملية الزحف:

إذا كنت تضيف صفحات إلى موقعك الإلكتروني ولا يتم الزحف والفهرسة إليها خلال فترة زمنية معقولة، يشير ذلك إلى أنّ محرّك البحث Google لا يعرف بها أو أنّ المحتوى محظور أو أنّ موقعك الإلكتروني قد وصل إلى الحد الأقصى لسعة العرض أو أنّ ميزانية الزحف والفهرسة قد نفدت لموقعك الإلكتروني.

1.   أطلِع محرّك بحث Google على صفحاتك الجديدة: عدِّل خرائط الموقع من خلال تضمين عناوين URL الجديدة.

2.   راجِع قواعد robots.txt للتأكد من أنّك لا تحظر صفحات عن طريق الخطأ.

3.   راجِع أولويات الزحف والفهرسة (المعروفة أيضًا باستخدام ميزانية الزحف والفهرسة بطريقة فعالة). عليك إدارة مخزن البيانات وتحسين كفاءة الزحف والفهرسة إلى موقعك الإلكتروني.

4.   تأكّد من عدم نفاد سعة العرض لموقعك الإلكتروني. سيخفّض Googlebot معدّل الزحف والفهرسة إذا وجد أنّ الخوادم تواجه مشكلة في الاستجابة لطلبات الزحف.

5.   يُرجى العِلم بأنّه قد لا يتم عرض الصفحات في نتائج البحث حتى إذا تم الزحف والفهرسة إليها في حال لم يكن هناك قيمة كافية للمحتوى أو طلب من المستخدمين عليه.

6.   استخدام خريطة موقع الأخبار إذا كان موقعك الإلكتروني يعرض محتوى إخباريًا إبلاغ Google عند نشر أو تغيير ملف Sitemap

7.   استخدام علامة <lastmod> في خرائط الموقع الإلكتروني للإشارة إلى الوقت الذي تم فيه تعديل عنوان URL المفهرَس

8.   استخدام بنية عنوان URL بسيطة لمساعدة محرّك البحث Google في العثور على صفحاتك

9.   توفير روابط <a> قابلة للزحف وعادية لمساعدة محرّك البحث Google في العثور على صفحاتك

10.                     تجنَّب ما يلي:

11.                     إرسال ملف Sitemap غير المعدّل نفسه عدة مرات يوميًا

12.                     التوقُّع أنّ Googlebot سيزحف إلى كل محتوى ملف Sitemap، أو أنّه سيزحف إليه على الفور تشكّل ملفات Sitemap اقتراحات مفيدة لبرنامج Googlebot، وهي ليست شرطًا أساسيًا

13.                     تضمين عناوين URL في خرائط الموقع الإلكتروني التي لا تريدها أن تظهر يمكن أن يؤدي هذا الإجراء إلى إهدار ميزانية الزحف والفهرسة على الصفحات التي لا تريد فهرستها

 تحسين كفاءة الزحف والفهرسة إلى موقعك الإلكتروني

زيادة سرعة تحميل الصفحة

تتأثّر عملية زحف محرّك البحث Google بعدّة عوامل، وهي معدّل نقل البيانات والوقت ومدى توفّر Googlebot. وفي حال كان خادمك يستجيب للطلبات بشكل أسرع، قد نتمكن من الزحف والفهرسة إلى المزيد من الصفحات على موقعك الإلكتروني. يريد محرّك البحث Google الزحف والفهرسة إلى محتوى عالي الجودة فقط، لذلك لن تؤدي زيادة سرعة الصفحات ذات الجودة المنخفضة إلى تشجيع Googlebot على الزحف والفهرسة إلى مزيد من الصفحات على موقعك الإلكتروني. وفي المقابل، إذا كنا نعتقد أنه يفوتنا الزحف والفهرسة إلى محتوى عالي الجودة على موقعك الإلكتروني، من المرجح أن نزيد ميزانية الزحف والفهرسة لموقعك الإلكتروني كي تزحف برامجنا إلى ذلك المحتوى.

تجنَّب ما يلي:

·       لا تضِف أو تزِل صفحات أو أدلة من ملف robots.txt بانتظام كطريقة لإعادة تخصيص ميزانية الزحف والفهرسة الخاصة بموقعك الإلكتروني. استخدِم ملف robots.txt فقط للصفحات أو الموارد التي لا تريدها أن تظهر في نتائج البحث على Google في المدى الطويل.

·       لا تبدِّل ملفات Sitemap أو تستخدم آليات إخفاء مؤقّت أخرى بهدف إعادة تخصيص ميزانية الزحف.

خطوات لإبطاء معدّل زحف Googlebot إذا كان يزيد الحِمل على الموقع الإلكتروني:

اعرض رموز نتيجة HTTP 503/429 مؤقتًا لطلبات Googlebot عندما يكون الحِمل زائدًا على الخادم. سيعيد Googlebot محاولة الزحف والفهرسة إلى عناوين URL هذه لمدة يومين تقريبًا. يُرجى العِلم بأنّ عرض رموز "عدم التوفّر" لأكثر من بضعة أيام سيؤدي إلى إبطاء أو إيقاف عملية زحف محرّك بحث Google إلى عناوين URL على موقعك الإلكتروني بشكلٍ دائم، لذا عليك اتّباع الخطوات الإضافية التالية.

اخفض معدّل زحف Googlebot إلى موقعك الإلكتروني. قد يستغرق هذا الإجراء يومَين كي يدخل حيّز التنفيذ، ويتطلّب أذونات مالك الموقع على Search Console. لا تنفِّذ هذا الإجراء إلا إذا لاحظت أنّ محرّك بحث Google يجري عمليات زحف زائدة ومتكرّرة لمدة طويلة.

عندما ينخفض معدّل الزحف، أوقِف عرض رسالة 503/429 لطلبات الزحف، لأنّ عرض الرمز 503 لفترة تتجاوز يومَين سيؤدي إلى إزالة عناوين URL التي تعرض الرمز 503 من الفهرس.

راقِب معدّل الزحف والفهرسة وسعة المضيف بمرور الوقت لمعرفة ما إذا كان من المناسب رفع معدّل الزحف والفهرسة مجددًا أو السماح بالعودة إلى معدّل الزحف والفهرسة التلقائي.