منشئ Robots.txt لمحركات البحث وزواحف الذكاء الاصطناعي

أنشئ ملف robots.txt صالحًا بإعدادات جاهزة وأسطر خريطة الموقع وقواعد بنقرة واحدة لزواحف الذكاء الاصطناعي مثل GPTBot وClaudeBot، ثم اختبر أي رابط عليه.

مجانية، دون تسجيلتعمل في متصفحكSEO والجوانب التقنية

قواعد لجميع الزواحف

ابدأ من إعداد جاهز

تبدأ المسارات بـ /. استخدم * كحرف بدل و$ لمطابقة نهاية الرابط.
استخدم Allow لفتح ملف أو مجلد داخل مسار محظور.
يحترم Bing هذا الإعداد، بينما يتجاهله Google.

زواحف الذكاء الاصطناعي

خيارات سريعة

الزواحف المحدّدة تحصل على Disallow: / للموقع بأكمله.

robots.txt


    

اختبر رابطًا

لماذا أصبح robots.txt أهم من أي وقت مضى

robots.txt ملف نصي بسيط في جذر نطاقك يُخبر الزواحف بالأجزاء التي يمكنها زيارتها من موقعك. لطالما كان من أساسيات SEO التقني لإبعاد لوحات الإدارة وسلال الشراء وروابط الفلاتر اللامتناهية عن الزحف. واليوم أصبح أيضًا وسيلتك الرئيسية لقبول زواحف الذكاء الاصطناعي أو رفضها، من OpenAI وAnthropic وPerplexity وGoogle وApple وغيرها.

زواحف التدريب مقابل زواحف البحث

تشغّل شركات الذكاء الاصطناعي على نحو متزايد زواحف منفصلة لمهام مختلفة. فزواحف التدريب مثل GPTBot وClaudeBot وGoogle-Extended تجمع المحتوى لتدريب النماذج. أما زواحف البحث مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot فتفهرس الصفحات كي يتمكن المساعد من الاستشهاد بها والربط إليها في إجاباته. ويتيح لك هذا الفصل الاختيار: فخيار «حظر تدريب الذكاء الاصطناعي فقط» يُبقيك ظاهرًا في بحث الذكاء الاصطناعي مع استبعادك من تدريب النماذج.

حظر Google-Extended لا يؤثر في ترتيبك على Google Search ولا في أهليتك للظهور في AI Overviews، إذ تعتمد على Googlebot العادي. وتذكر بعض الجهات أيضًا أن أدوات الجلب التي يطلقها المستخدم، أي تلك التي تفتح صفحة لأن شخصًا طلب ذلك، قد لا تلتزم بقواعد robots.txt.

كيف تستخدم المولّد

  • اختر إعدادًا جاهزًا، ثم عدّل مسارات Disallow وAllow بما يناسب موقعك.
  • أضف كل روابط خريطة الموقع، رابطًا في كل سطر.
  • اختر زواحف الذكاء الاصطناعي التي تريد حظرها.
  • اختبر بعض الروابط المهمة بأداة الاختبار. فهي تتّبع القواعد المعيارية: القاعدة المطابقة الأطول هي التي تُطبَّق، وعند التعادل تفوز Allow.
  • ارفع الملف إلى جذر نطاقك ليفتح على yourdomain.com/robots.txt.

الأسئلة الشائعة

هل ينبغي أن أحظر زواحف الذكاء الاصطناعي؟

إنه قرار تجاري. فحظر زواحف التدريب يُبعد محتواك عن تدريب النماذج المستقبلية، أما حظر زواحف البحث فقد يُخرجك من إجابات الذكاء الاصطناعي واستشهاداته. بالنسبة لمعظم المواقع التسويقية، يبقى السماح لزواحف بحث الذكاء الاصطناعي الخيار الأفضل للظهور.

ما الفرق بين Disallow وnoindex؟

يوقف Disallow الزحف، بينما يوقف noindex، المحدّد في وسم meta أو ترويسة HTTP، الفهرسة. فالصفحة المحظورة في robots.txt قد تظهر في البحث كرابط مجرّد إذا ربطت إليها مواقع أخرى، ولا يستطيع Google رؤية وسم noindex في صفحة غير مسموح له بالزحف إليها.

أين يوضع robots.txt؟

في جذر كل مضيف، مثل https://example.com/robots.txt. والنطاق الفرعي مثل shop.example.com يحتاج إلى ملف خاص به. ومعظم المنصات، بما فيها WordPress وShopify، تنشئ ملفًا يمكنك تعديله أو استبداله.

هل تلتزم كل الروبوتات بـ robots.txt؟

الزواحف الموثوقة تلتزم به. لكنه معيار طوعي، فلن يوقف أدوات الكشط التي تتجاهله. استخدم المصادقة أو قواعد الخادم لكل ما هو خاص فعلًا.