حل مشكلة تغطية الفهرس

حل مشكلة تغطية الفهرس

هل تواجه مشكلات في الفهرسة في Google؟ قد تؤدي هذه المشكلة إلى انخفاض معدلات الحركة والتحويل. من الضروري التحقق من الصفحات المفهرسة وغير المفهرسة لموقعك لحل أي مشكلة بسرعة. نوضح هنا كيفية القيام بذلك خطوة بخطوة باستخدام Google Search Console تقرير تغطية الفهرس . باستخدام الطريقة التالية، تمكنا من إصلاح مشكلة تغطية الفهرس على مئات المواقع التي تحتوي على ملايين أو مليارات الصفحات المستبعدة. استخدمه حتى لا تفقد أي من صفحاتك ذات الصلة الرؤية في نتائج البحث وتعزز حركة محركات البحث (SEO) الخاصة بك.

الخطوة 1: تحقق من تقرير تغطية الفهرس

يخبرك تقرير تغطية Search Console بالصفحات التي تم الزحف إليها وفهرستها بواسطة Google وسبب وجود عناوين URL في هذه الحالة المحددة. يمكنك استخدامه لاكتشاف أي أخطاء يتم العثور عليها أثناء عملية الزحف والفهرسة.

للتحقق من تقرير تغطية الفهرس ، انتقل إلى” Google Search Console “واضغط فوق” Coverage “(أسفل الفهرس مباشرةً). بمجرد فتحه ، سترى ملخصًا بأربع حالات مختلفة تصنف عناوين “URL “الخاصة بك:

• خطأ: لا يمكن فهرسة هذه الصفحات ولن تظهر في نتائج البحث بسبب بعض الأخطاء.
• صالح مع وجود تحذيرات: قد يتم عرض هذه الصفحات أو لا يتم عرضها في نتائج بحث”Google”. 
• صالح: تمت فهرسة هذه الصفحات ويمكن عرضها في نتائج البحث. لا تحتاج إلى فعل أي شيء.
• مستبعد: لم تتم فهرسة هذه الصفحات ولن تظهر في نتائج البحث. تعتقد “Google “أنك لا تريد فهرستها أو اعتبار المحتوى لا يستحق الفهرسة.

تحتاج إلى التحقق من جميع الصفحات الموجودة في قسم الخطأ وتصحيحها في أسرع وقت ممكن لأنك قد تفقد فرصة توجيه حركة المرور إلى موقعك. إذا كان لديك متسع من الوقت، فراجع الصفحات المضمنة في الحالة صالحة مع تحذير حيث قد تكون هناك بعض الصفحات الحيوية التي يجب ألا تظهر تحت أي ظرف من الظروف في نتائج البحث. أخيرًا، تأكد من أن الصفحات المستبعدة هي الصفحات التي لا تريد فهرستها هناك عدة اشكال لـ مشكلة تغطية الفهرس سوف نقوم بعرضها فيما يلى.

الخطوة 2: كيفية حل المشكلات الموجودة في كل حالة من حالات تغطية الفهرس

بمجرد فتح تقرير تغطية الفهرس، حدد الحالة المطلوبة ( أخطاء ، أو صالحة مع تحذيرات ، أو مستبعدة) واطلع على التفاصيل المتوفرة في أسفل الصفحة. ستجد قائمة بأنواع الأخطاء حسب خطورتها وعدد الصفحات المتأثرة ، لذلك نوصي بالبدء في التحقيق في المشكلات من أعلى الجدول. دعنا نرى كل خطأ في الحالات المختلفة وكيف يمكنك إصلاحها. 

حالة الخطأ

أخطاء الـ server  5XX

وهي عبارة عناوين URL التي تعرض رمز الحالة 5xx إلى Google وتعد من مشكلة تغطية الفهرس.

الإجراءات الواجب اتخاذها:

• تحقق من نوع رمز الحالة 500 الذي يتم إرجاعه . هنا لديك قائمة كاملة بتعريف كل رمز حالة خطأ في الـ server.
• أعد تحميل عنوان URL لمعرفة ما إذا كان الخطأ مستمرًا. أخطاء 5xx مؤقتة ولا تتطلب أي إجراء.
• تحقق من أن الـ server الخاص بك ليس محملاً بشكل زائد أو لم يتم تكوينه بشكل خاطئ. في هذه الحالة، اطلب من مطوريك المساعدة، أو اتصل بمزود الاستضافة.
• قم بإجراء تحليل ملف السجل للتحقق من سجلات الأخطاء الـ server الخاص بك. توفر لك هذه الممارسة معلومات إضافية حول المشكلة.
• راجع التغييرات التي أجريتها مؤخرًا على موقع الويب الخاص بك لمعرفة ما إذا كان أي منها هو السبب الأساسي. على سبيل المثال) المكونات الإضافية ، ورمز الواجهة الخلفية الجديد، وما إلى ذلك.

أخطاء إعادة التوجيه

واجه GoogleBot خطأً أثناء عملية إعادة التوجيه لا يسمح بالزحف إلى الصفحة. غالبًا ما يتسبب أي من الأسباب التالية في حدوث هذه المشكلة.

• سلسلة إعادة توجيه كانت طويلة جدًا
• حلقة إعادة التوجيه
• عنوان URL لإعادة التوجيه تجاوز الحد الأقصى لطول عنوان URL
• كان هناك عنوان URL خاطئ أو فارغ في سلسلة إعادة التوجيه

الإجراءات الواجب اتخاذها

• تخلص من سلاسل إعادة التوجيه والحلقات. اجعل كل عنوان URL يقوم بإعادة توجيه واحدة فقط. بمعنى آخر، إعادة توجيه من عنوان URL الأول إلى آخر عنوان URL.

الإجراءات الواجب اتخاذها

تحقق مما إذا كنت تريد محركات البحث أن تقوم بفهرسة الصفحة المعنية أم لا.

• إذا كنت لا تريد فهرستها، فقم بتحميل خريطة موقع XML لإزالة عنوان URL.
• على العكس من ذلك ، إذا كنت تريد فهرستها، فغيّر الإرشادات في ملف Robots.txt. فيما يلي دليل حول كيفية تحرير ملف robots.txt .

تم وضع علامة “noindex” على عنوان URL الذي تم إرساله

تم إرسال هذه الصفحات إلى Google من خلال ملف Sitemap بتنسيق XML ، ولكن لديها توجيه “noindex” إما في علامة برامج الروبوت الوصفية أو رؤوس HTTP.

الإجراءات الواجب اتخاذها:

• إذا كنت تريد فهرسة عنوان URL ، فيجب عليك إزالة توجيه noindex.
• إذا كانت هناك عناوين URL لا تريد أن يقوم Google بفهرستها ، فقم بإزالتها من ملف Sitemap بتنسيق XML

URL الذي تم إرساله إلى Google من خلال ملف Sitemap بتنسيق XML خطأ 401 . يخبرك رمز الحالة هذا أنك غير مصرح لك بالوصول إلى عنوان URL. قد تحتاج إلى اسم مستخدم وكلمة مرور ، أو ربما توجد قيود وصول تعتمد على عنوان IP، إحدى مشكلة تغطية الفهرس.

الإجراءات الواجب اتخاذها:

• تحقق مما إذا كان يجب أن تعرض عناوين URL الخطأ 401. في هذه الحالة ، قم بإزالتها من خريطة موقع XML.
• إذا كنت لا تريدهم أن يعرضوا رمز 401 ، فقم بإزالة مصادقة HTTP إن وجدت. 

لم يتم العثور على عنوان URL الذي تم إرساله (404)

لقد أرسلت عنوان URL لأغراض الفهرسة إلى Google Search Console ، ولكن لا يمكن لـ Google الزحف إليه بسبب مشكلة مختلفة عن تلك المذكورة أعلاه. 

الإجراءات الواجب اتخاذها:

• تحقق مما إذا كنت تريد فهرسة الصفحة أم لا. إذا كانت الإجابة بنعم ، فقم بإصلاحها ، بحيث تُرجع رمز الحالة 200. يمكنك أيضًا تعيين إعادة توجيه 301 إلى عنوان URL ، بحيث يعرض صفحة مناسبة. تذكر أنه إذا اخترت إعادة التوجيه ، فأنت بحاجة إلى إضافة عنوان URL المخصص إلى خريطة موقع XML وإزالة العنوان الذي يعطي 404.   
• إذا كنت لا تريد فهرسة الصفحة ، فقم بإزالتها من خريطة موقع XML.

يحتوي عنوان URL الذي تم إرساله على مشكلة في الزحف

لقد أرسلت عنوان URL لأغراض الفهرسة إلى GSC ولكن لا يمكن لـ Google الزحف إليه بسبب مشكلة مختلفة عن تلك المذكورة أعلاه. 

الإجراءات الواجب اتخاذها:

• استخدم أداة فحص عنوان URL للحصول على مزيد من المعلومات حول سبب المشكلة.
• في بعض الأحيان تكون هذه الأخطاء مؤقتة ، لذا فهي لا تتطلب أي إجراء.

صالح مع حالة التحذير

تتم فهرسة هذه الصفحات ، على الرغم من حظرها بواسطة ملف robots.txt. يحاول Google دائمًا اتباع التوجيهات الواردة في ملف robots.txt. ومع ذلك ، في بعض الأحيان يتصرف بشكل مختلف ويعد هذا مشكلة تغطية الفهرس . يمكن أن يحدث هذا، على سبيل المثال ، عندما يقوم شخص ما بالارتباط بعنوان URL المحدد. يمكنك العثور على عناوين URL في هذه الفئة لأن Google يشك في ما إذا كنت تريد حظر هذه الصفحات في نتائج البحث . 

الإجراءات الواجب اتخاذها: 

• لا توصي Google باستخدام ملف robots.txt لتجنب فهرسة الصفحة. بدلاً من ذلك ، إذا كنت لا تريد أن ترى هذه الصفحات مفهرسة ، فاستخدم noindex في meta robots أو رأس استجابة HTTP.
• هناك ممارسة جيدة أخرى لمنع Google من الوصول إلى الصفحة وهي تنفيذ مصادقة HTTP.
• إذا كنت لا تريد حظر الصفحة ، فقم بإجراء التصحيحات اللازمة في ملف robots.txt.
• يمكنك تحديد القاعدة التي تمنع الصفحة باستخدام أداة اختبار ملف robots.txt .

اقرا ايضاً: إنشاء شبكة pbn لتحسين سيو الموقع بالطريقة الصحيحة

الحالة المستبعدة

لم تتم فهرسة هذه الصفحات في نتائج البحث ، وتعتقد Google أن هذا هو الشيء الصحيح. على سبيل المثال ، قد يكون هذا بسبب أنها صفحات مكررة لصفحات مفهرسة أو لأنك تعطي إرشادات على موقع الويب الخاص بك لمحركات البحث لفهرستها. فيما يلى سوف نوضح لك  15 حالة يمكن فيها استبعاد صفحتك وتعد هذه الحالات أمثلة على مشكلة تغطية الفهرس.

1- تم الاستبعاد بعلامة “noindex”

أنت تخبر محركات البحث بعدم فهرسة الصفحة بإعطاء أمر “noindex”. 

الإجراءات الواجب اتخاذها: 

• تحقق مما إذا كنت لا تريد بالفعل فهرسة الصفحة. إذا كنت تريد فهرسة الصفحة ، فقم بإزالة علامة “noindex”. 
• يمكنك تأكيد وجود هذا التوجيه من خلال فتح الصفحة والبحث عن “noindex” في نص الاستجابة ورأس الاستجابة.

تم حظره بواسطة أداة إزالة الصفحة

2-  قد قدمت طلب إزالة URL لهذه الصفحات على GSC. 

الإجراءات الواجب اتخاذها:

• يحضر Google هذا الطلب لمدة 90 يومًا فقط ، لذلك إذا كنت لا ترغب في فهرسة الصفحة ، فاستخدم توجيهات “noindex” أو تنفيذ مصادقة HTTP أو إزالة الصفحة.

3- محظور بواسطة ملف robots.txt

لا يزال من الممكن فهرستها إذا تمكنت Google من العثور على معلومات حول هذه الصفحة دون تحميلها. ربما قام محرك بحث 

أنت تمنع وصول Googlebot إلى هذه الصفحات باستخدام ملف robots.txt. ومع ذلك Googleيقوم بفهرسة الصفحة قبل إضافة عدم السماح في ملف robots.txt                                                                                                                            

الإجراءات الواجب اتخاذها: 

• إذا كنت لا تريد فهرسة الصفحة، فاستخدم أمر “noindex” وقم بإزالة كتلة ملف robots.txt.

4- محظور بسبب طلب غير مصرح به (401)

يحظر الوصول إلى Google باستخدام إذن طلب (استجابة 401). 

الإجراءات الواجب اتخاذها: 

• إذا كنت تريد السماح لبرنامج GoogleBot بزيارة الصفحة ، فقم بإزالة متطلبات الترخيص. 

5- الزحف الشاذ

لم تتم فهرسة الصفحة بسبب رمز استجابة الخطأ 4xx أو 5xx.

الإجراءات الواجب اتخاذها: 

• استخدم أداة فحص عنوان URL للحصول على مزيد من المعلومات حول المشكلات .

6- تم الزحف إليه – غير مفهرس حاليًا

تم الزحف إلى هذه الصفحة بواسطة GoogleBot ولكن لم تتم فهرستها. قد تتم فهرستها أو لا تتم فهرستها في المستقبل. ليست هناك حاجة لإرسال عنوان URL هذا للزحف . 

الإجراءات الواجب اتخاذها:

• إذا كنت تريد فهرسة الصفحة في نتائج البحث ، فتأكد من تقديم معلومات قيمة.  

7- تم الاكتشاف – غير مفهرس حاليًا

عثر محرك بحث Google على هذه الصفحة، لكنه لم يتمكن من الزحف إليها حتى الآن . يحدث هذا الموقف عادةً لأنه عندما حاول GoogleBot الزحف إلى الصفحة، كان الموقع محملاً بشكل زائد. تمت جدولة الزحف في وقت آخر.لا يلزم اتخاذ أي إجراء.

8- صفحة بديلة بالعلامة الأساسية المناسبة

تشير هذه الصفحة إلى صفحة أساسية ، لذلك يدرك محرك بحث Google أنك لا تريد فهرستها.

الإجراءات الواجب اتخاذها:

• إذا كنت تريد فهرسة هذه الصفحة ، فستحتاج إلى تغيير السمات rel = canonical لمنح Google الإرشادات المطلوبة . 

9- نسخة مكررة بدون الصفحة الأساسية التي يختارها المستخدم

الصفحة بها نُسخ طبق الأصل، ولكن لم يتم وضع علامة على أي منها كصفحة أساسية. تعتبر Google أن هذا ليس هو القانون الأساسي. 

الإجراءات الواجب اتخاذها:

• استخدم العلامات الأساسية لتوضيح لـ Google الصفحات الأساسية (التي يجب فهرستها) والصفحات المكررة. يمكنك استخدام أداة فحص عنوان URL لمعرفة الصفحات التي تم تحديدها كصفحات أساسية بواسطة Google.

10- اختار Google عنوانًا أساسيًا مختلفًا عن المستخدم: 

لقد قمت بتمييز هذه الصفحة على أنها صفحة أساسية ، ولكن Google ، بدلاً من ذلك ، قام بفهرسة صفحة أخرى تعتقد أنها تعمل بشكل أفضل باعتبارها صفحة أساسية. 

الإجراءات الواجب اتخاذها:

• يمكنك متابعة اختيار جوجل. في هذه الحالة ، ضع علامة على الصفحة المفهرسة كصفحة أساسية وهذه الصفحة على أنها نسخة مكررة من عنوان URL الأساسي.
• إذا لم يكن الأمر كذلك ، فاكتشف سبب تفضيل Google لصفحة أخرى على الصفحة التي اخترتها ، وقم بإجراء 

التغييرات اللازمة . استخدم أداة فحص عنوان URL لاكتشاف “الصفحة الأساسية” المحددة بواسطة Google.

واحدة من “الإخفاقات” الأكثر فضولًا التي مررنا بها مع تقريرمشكلة تغطية الفهرس كانت اكتشاف أن Google لم تكن تعالج عناويننا الأساسية بشكل صحيح (وكنا نفعل ذلك بشكل خاطئ لسنوات). كان Google يشير في Search Console إلى أن الصفحة الأساسية المحددة كانت غير صالحة عندما تم تنسيق الصفحة تمامًا. في النهاية ، اتضح أنه خطأ من Google نفسها . 

11- غير موجود (404)

تعرض الصفحة رمز حالة الخطأ 404 عندما تقدم Google طلبًا . لم يعثر GoogleBot على الصفحة من خلال خريطة الموقع ، ولكن ربما من خلال موقع ويب آخر يرتبط بعنوان URL. من الممكن أيضًا أن يكون عنوان URL هذا موجودًا في الماضي وتمت إزالته. 

الإجراءات الواجب اتخاذها:

• إذا كانت الاستجابة 404 مقصودة ، فيمكنك تركها كما هي. لن يضر بأداء SEO الخاص بك. ومع ذلك، إذا تم نقل الصفحة ، فنفذ إعادة التوجيه 301.

12- تمت إزالة الصفحة بسبب شكوى قانونية

تم حذف هذه الصفحة من الفهرس بسبب شكوى قانونية .

الإجراءات الواجب اتخاذها: 

• تحقق من القواعد القانونية التي ربما تكون قد انتهكتها واتخذ الإجراءات اللازمة لتصحيحها.

13- الصفحة التي تحتوي على إعادة التوجيه

يعد عنوان URL هذا إعادة توجيه وبالتالي لم تتم فهرسته.

الإجراءات الواجب اتخاذها:

• إذا لم يكن من المفترض أن يقوم عنوان URL بإعادة التوجيه ، فقم بإزالة تنفيذ إعادة التوجيه. 

soft 404 -14

تعرض الصفحة ما تعتقد Google أنه استجابة لينة 404. لم تتم فهرسة الصفحة لأنه على الرغم من أنها توفر رمز حالة 200 ، إلا أن Googles تعتقد أنه يجب أن تعرض 404 . 

الإجراءات الواجب اتخاذها:

• راجع ما إذا كان يجب عليك تعيين 404 للصفحة ، كما تقترح Google.
• أضف محتوى قيمًا إلى الصفحة للسماح لـ Google بمعرفة أنها ليست Soft 404.

15- عنوان URL مكرر ، تم إرساله ولم يتم تحديد كعنوان URL أساسي

لقد أرسلت عنوان URL إلى GSC لأغراض الفهرسة. ومع ذلك، لم تتم فهرستها لأن الصفحة بها نسخ مكررة بدون علامات أساسية ، وتعتبر Google أن هناك مرشحًا أفضل للصفحة الأساسية. 

الإجراءات الواجب اتخاذها:

• حدد ما إذا كنت تريد متابعة اختيار Google للصفحة الأساسية. في هذه الحالة، قم بتعيين السمات rel = canonical للإشارة إلى الصفحة المحددة بواسطة Google.
• يمكنك استخدام أداة فحص عنوان URL لمعرفة الصفحة التي اختارها Google لتكون الصفحة الأساسية.
• إذا كنت تريد عنوان URL هذا باعتباره العنوان الأساسي ، فقم بتحليل سبب تفضيل Google للصفحة الأخرى. قدم المزيد من المحتوى عالي القيمة على الصفحة التي تختارها .

الخطوة 3. تقرير مشكلة تغطية الفهرس الأكثر شيوعًا

أنت الآن تعرف أنواع الأخطاء المختلفة التي يمكنك العثور عليها في تقرير تغطية الفهرس والإجراءات التي يجب اتخاذها عند مواجهة كل خطأ. فيما يلي لمحة موجزة عن القضايا التي تظهر بشكل متكرر.

تم استبعاد أكثر من الصفحات الصالحة

في بعض الأحيان يمكن أن يكون لديك صفحات مستبعدة أكثر من الصفحات الصالحة. عادةً ما يتم تقديم هذا الظرف على المواقع الكبيرة التي شهدت تغييرًا كبيرًا في عنوان URL . ربما يكون موقعًا قديمًا له تاريخ طويل ، أو تم تعديل رمز الويب.

إذا كان لديك اختلاف كبير بين عدد صفحات الحالتين (مستبعدة وصالحة) ، فأنت تواجه مشكلة خطيرة. ابدأ بمراجعة الصفحات المستبعدة ، كما أوضحنا أعلاه فى تقرير تغطية الفهرس  

 طفرات الخطأ

عندما يزداد عدد الأخطاء بشكل كبير ، تحتاج إلى التحقق من الخطأ وإصلاحه في أسرع وقت ممكن. اكتشف Google بعض المشكلات التي تلحق أضرارًا جسيمة بأداء موقع الويب الخاص بك . إذا لم تصحح المشكلة اليوم ، فستواجه مشكلات كبيرة غدًا.

أخطاء الـ server

تأكد من أن هذه الأخطاء ليست 503 (الخدمة غير متوفرة) . يعني رمز الحالة هذا أن السيرفر لا يمكنه معالجة الطلب بسبب التحميل الزائد المؤقت أو الصيانة. في البداية ، يجب أن يختفي الخطأ من تلقاء نفسه ، ولكن إذا استمر في الحدوث ، يجب أن تنظر إلى المشكلة وتحلها. يبدو أن Google قد اكتشفت بعض المناطق في موقعك على الويب تؤدي إلى إنشاء 404 – صفحات غير موجودة. إذا زاد الحجم بشكل كبير .

صفحات أو مواقع مفقودة 

إذا لم تتمكن من رؤية صفحة أو موقع في التقرير ، فقد يرجع ذلك إلى عدة أسباب.

1. لم تكتشفها جوجل بعد. عندما تكون الصفحة أو الموقع جديدًا ، فقد يستغرق الأمر بعض الوقت قبل أن يعثر عليه Google. أرسل ملف Sitemap أو طلب الزحف إلى الصفحة لتسريع عملية الفهرسة. تأكد أيضًا من أن الصفحة ليست يتيمة ومرتبطة من الموقع.
2. لا يمكن لـ Google الوصول إلى صفحتك بناءً على طلب تسجيل الدخول . قم بإزالة متطلبات التفويض للسماح لبرنامج GoogleBot بالزحف إلى الصفحة.
3. الصفحة بها علامة noindex أو تم حذفها من الفهرس لسبب ما . قم بإزالة علامة noindex وتأكد من تقديم محتوى ذي قيمة على الصفحة.

أخطاء واستثناءات 

تحدث هذه المشكلة عندما يكون هناك تناقض. إذا قمت بإرسال صفحة عبر خريطة موقع ، فيجب عليك التأكد من أنها صالحة للفهرسة ، وأنها مرتبطة بالموقع. يجب أن يتكون موقعك في الغالب من صفحات قيمة تستحق الارتباط. 

ملخص

فيما يلي ملخص من ثلاث خطوات لمقالة “حل مشكلة تغطية الفهرس”.  

• أول شيء تريد القيام به عند استخدام تقرير تغطية الفهرس هو إصلاح الصفحات التي تظهر في حالة الخطأ . يجب أن يتم هذا لتجنب عقوبات Google.
• ثانيًا ، تحقق من الصفحات المستبعدة ومعرفة ما إذا كانت هذه هي الصفحات التي لا تريد فهرستها. إذا لم يكن الأمر كذلك ، فاتبع إرشاداتنا لحل المشكلات.
• إذا كان لديك متسع من الوقت ، فإننا نوصي بشدة بفحص الصفحات الصالحة مع تحذير . تأكد من صحة الإرشادات التي قدمتها في ملف robots.txt ومن عدم وجود تناقضات.

نأمل ان تجد هذه المقالة مفيدة أخبرنا إذا كان لديك أي أسئلة بخصوص تقرير تغطية الفهرس. 

اقرا ايضاً: كيفية انشاء جيست بوست جيد