منشئ robots.txt
أنشئ قواعد زحف واضحة وملف sitemap قبل نشر موقع ثابت تريد التحكم في ظهوره لمحركات البحث.
محرر القواعد
استخدم * لكل الزواحف، أو أدخل اسم زاحف محدد مثل Googlebot.
مسار واحد في كل سطر. ابدأ كل مسار بـ /.
استخدم قواعد allow لتجاوز قاعدة disallow أوسع.
وجّه الزواحف إلى sitemap حتى يسهل اكتشاف الروابط العامة.
معاني القواعد
منشئ robots.txt
User-agent: *
تحدد القاعدة التالية أي زواحف تنطبق عليها الأوامر.
Disallow: /private/
يطلب من الزواحف المتوافقة عدم طلب المسارات داخل هذا المجلد.
Allow: /private/image.jpg
يسمح بمسار محدد داخل منطقة أوسع تم منعها.
Sitemap: URL
يرشد الزواحف إلى ملف sitemap الذي يحتوي روابط الموقع العامة.
منشئ robots.txt
متى أستخدم منشئ robots.txt؟
استخدمه قبل إطلاق موقع عام عندما تريد توجيه الزحف أو إعلان sitemap أو منع مسارات معينة من الفهرسة.
هل يساعد منشئ robots.txt قبل الإطلاق؟
نعم، لأن خطأ بسيطًا قد يمنع محركات البحث من رؤية صفحات مهمة أو يسمح بزحف مسارات لا تريد إبرازها.
هل يجب مراجعة النتيجة يدويًا؟
راجع المدخلات والنتيجة يدويًا، ولا تستخدم أسرارًا أو بيانات شخصية في أدوات عامة أو صفحات منشورة.
هل يحمي robots.txt الصفحات الخاصة؟
لا. robots.txt ليس حماية أمنية. الصفحات الخاصة تحتاج كلمة مرور أو تحكم وصول حقيقي.
كيف أستخدم الملف بعد إنشائه؟
ضع robots.txt في جذر الموقع، ثم افتح /robots.txt بعد النشر للتأكد أن محركات البحث ستقرأ النسخة الصحيحة.