في عالم تحسين محركات البحث SEO، يُعد ملف Robots.txt أحد العوامل الأساسية التي تتحكم في طريقة زحف محركات البحث مثل Google وBing إلى موقعك. سواء كنت تستخدم منصة بلوجر Blogger أو ووردبريس WordPress، فإن إعداد هذا الملف بالشكل الصحيح يُعد خطوة مهمة لتسريع أرشفة مقالاتك وتحسين ظهورها في نتائج البحث.
ما هو ملف Robots.txt؟
هو ملف نصي يتم وضعه في جذر الموقع الإلكتروني لإعطاء تعليمات لمحركات البحث عن الصفحات أو الملفات التي يجب أن يتم الزحف إليها، والصفحات التي يجب تجاهلها. من خلال هذا الملف، يمكنك تحديد أجزاء من موقعك لا ترغب في ظهورها في نتائج البحث مثل صفحات الأرشيف، التاجات، صفحة البحث الداخلي، وغيرها.
فوائد توليد ملف Robots.txt مخصص
- ✅ تسريع الأرشفة وتحسين ظهور موقعك في جوجل.
- ✅ تقليل الضغط على الزحف (Crawl Budget) من Google.
- ✅ منع فهرسة المحتوى المكرر مثل صفحات التصنيفات والبحث.
- ✅ تحسين أداء الموقع من ناحية SEO التقني.
- ✅ التحكم الكامل في ما تريد عرضه لمحركات البحث.
أداة توليد Robots.txt لمدونات بلوجر ووردبريس
نقدم لك أداة ذكية لتوليد ملف Robots.txt مخصص لموقعك حسب المنصة التي تستخدمها. كل ما عليك فعله هو إدخال اسم نطاق موقعك، وتحديد الخيارات، ثم نسخ الكود الناتج ولصقه في المكان المخصص في بلوجر أو في ملفات ووردبريس.
محتوى Robots.txt الموصى به لبلوجر
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.blogspot.com/sitemap.xml
📌 ملاحظة: تأكد من استبدال
example.blogspot.com بعنوان مدونتك الحقيقي.
محتوى Robots.txt الموصى به لووردبريس
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
📌 ملاحظة: استبدل example.com بنطاق موقعك
الصحيح.
طريقة تركيب ملف Robots.txt في بلوجر
- اذهب إلى لوحة تحكم بلوجر.
- من القائمة الجانبية اختر الإعدادات.
- ابحث عن خيار "ملف robots.txt مخصص".
- فعّل الخيار وأدخل الكود الناتج من الأداة.
- اضغط على حفظ.
طريقة إضافة Robots.txt في ووردبريس
في ووردبريس، لديك طريقتان:
-
الطريقة اليدوية: إنشاء ملف جديد باسم
robots.txtورفعه إلى مجلد root الخاص بموقعك (عادة public_html). - الطريقة الأسهل: استخدام إضافات مثل Rank Math أو Yoast، حيث توفر إمكانية تحرير ملف robots.txt مباشرة من داخل لوحة التحكم.
أهم النصائح عند توليد ملف Robots.txt
-
✅ لا تستخدم
Disallow: /إلا إذا كنت تريد منع الزحف الكامل (غير مستحب). - ✅ تأكد من إدراج رابط ملف Sitemap داخل الملف.
- ✅ راجع أدوات مشرفي المواقع (Google Search Console) لتأكيد صحة الملف بعد تركيبه.
- ✅ لا تمنع محركات البحث من مجلدات أو صفحات مهمة بدون التأكد من نتائج القرار.
تحذير هام!
سوء تكوين ملف Robots.txt قد يؤدي إلى اختفاء موقعك من نتائج البحث! لذا ننصح باستخدام أدوات التوليد المخصصة أو استشارة متخصص SEO قبل التعديل على هذا الملف.
الخلاصة
استخدام أداة توليد ملف Robots.txt يُعد خطوة ذكية لأي صاحب موقع أو مدونة يسعى لتحسين ظهوره في محركات البحث. الملف لا يجب أن يكون معقدًا، ولكن يجب أن يكون دقيقًا. قم الآن بإنشاء ملف Robots.txt مخصص لمدونتك أو موقعك باستخدام الأداة التي وفرناها، وتمتع بأرشفة أسرع وظهور أفضل في نتائج البحث.