منع الزحف
المقال الرئيسي: معيار استبعاد الروبوتات
لتجنب المحتوى غير المرغوب فيه في فهارس البحث ، يمكن لمشرفي المواقع توجيه العناكب بعدم الزحف إلى ملفات أو أدلة معينة من خلال ملف robots.txt القياسي في الدليل الجذر للنطاق. بالإضافة إلى ذلك ، يمكن استبعاد إحدى الصفحات صراحةً من قاعدة بيانات محرك البحث باستخدام علامة وصفية خاصة بالروبوتات (عادةً <meta name = "robots" content = "noindex">). عندما يزور محرك بحث أحد المواقع ، يكون ملف robots.txt الموجود في الدليل الجذر هو أول ملف يتم الزحف إليه. يتم بعد ذلك تحليل ملف robots.txt وسيوجه الروبوت إلى الصفحات التي لن يتم الزحف إليها. نظرًا لأن زاحف محرك البحث قد يحتفظ بنسخة مخبأة من هذا الملف ، فقد يقوم في بعض الأحيان بالزحف إلى صفحات لا يرغب مشرف الموقع في الزحف إليها. تتضمن الصفحات التي يتم منع الزحف إليها عادةً صفحات خاصة بتسجيل الدخول مثل عربات التسوق والمحتوى الخاص بالمستخدم مثل نتائج البحث من عمليات البحث الداخلية. في مارس 2007 ، حذرت Google مشرفي المواقع من أنه يجب عليهم منع فهرسة نتائج البحث الداخلية لأن هذه الصفحات تعتبر بحثًا غير مرغوب فيه. [47] في عام 2020 ، قامت Google بإصدار المعيار (وفتح مصدر التعليمات البرمجية الخاصة بها) وهي تتعامل معه الآن على أنه تلميح وليس توجيهًا.
اقرا المزيد
تعلم سيو بلوجر احترافي
كورس سيو اليوتيوب
sd, /…/†'¹ '§/„'²'*/پ
05-04-2023, 12:55 PM
سيو
العرض العادي
