السلام عليكم ورحمة الله وبركاته
أرقام الآي بي التي ذكرتها تعود لعناكب الياهو ( Yahoo Spider ), لقد قامت عناكب الياهو بعملية أرشفة سريعة و كبير لموقعك ويسمى هذا النوع من الأرشفة السريعة "سبام محركات البحث".
يوجد طريقة للتصدي لـ "سبام محركات البحث" وهي عن طريق ملف robots.txt وذلك بتحديد وقت محدد لكل دورة أرشفة.
الطريقة هي كالتالي:
- أنشئ ملف باسم robots.txt.
- ضع الشيفرة التالي في الملف:
كود:
User-agent: Slurp
Crawl-delay: 60
حيث 60 هي عدد الثواني وبذلك ستزور عناكب الياهو موقعك كل 60 ثانية (دقيقة واحدة), تسطيع زيادة أو تقليل عدد الثواني حسب ما تريد.
- احفظ الملف وارفعه إلى المجلد الرئيسي في موقعك.
هذا والله أعلم,,
تحياتي
AbdulazizSM