الويب العربي - قوقل يطلب منى ملفين للمنتدى..كيف نحصل عليهم

الويب العربي (http://www.arabwebtalk.com/index.php)

- قسم المنتديات (http://www.arabwebtalk.com/forumdisplay.php?f=112)

- - قوقل يطلب منى ملفين للمنتدى..كيف نحصل عليهم (http://www.arabwebtalk.com/showthread.php?t=67520)

قوقل يطلب منى ملفين للمنتدى..كيف نحصل عليهم

السلام عليكم
قوقل يطلب منى ملفين للمنتدى..كيف نحصل عليهم

sitmap.xml
robot.txt

هل هم برمجه ام هناك برامج اومواقع تعمل هالشىء ؟

مع الشكر مقدما

بخصوص ملف robots.txt

يمكن مراجعة هدا موضوع
http://www.arabwebtalk.com/showthread.php?t=39803
كدلك
http://qatardr.net/class/905
افتح المفكرة و أكتب الموجود الان في المثال وضعه على الدليل الرئيسي لموقعك

لاحظ اني منعت كثير من المواقع من دخول موقعي وهده مواقع مهمتها سرقة الايملات و عمل spam
كدلك منعت قوقل و بقية محركات البحث من دخول عدد من المجلدات المحظورة مثل مجلد admin و admincp و غيرها

http://www.zhra.net/sitemap.xml

كود:

# Allow Everything  Disallow:  

User-agent: Googlebot-Image

Allow: /*

User-agent:*

Allow: /* /cgi-bin/

Allow: /* /admin/

Allow: /* /tmp/

Allow: /* /cache/

Allow: /* /class/

Allow: /* /include/

Allow: /* /install/

Allow: /* /kernel/

Allow: /* /language/

Allow: /* /templates_c/

Allow: /* /themes/

Allow: /* /uploads/



User-agent: WebZip 

Allow: /* 



User-agent: larbin 

Allow: /* 



User-agent: b2w/0.1 

Allow: /* 



User-agent: Copernic 

Allow: /* 



User-agent: psbot 

Allow: /* 



User-agent: Python-urllib 

Allow: /* 



User-agent: NetMechanic 

Allow: /* 



User-agent: URL_Spider_Pro 

Allow: /* 



User-agent: CherryPicker 

Allow: /* 



User-agent: EmailCollector 

Allow: /* 



User-agent: EmailSiphon 

Allow: /* 



User-agent: WebBandit 

Allow: /* 



User-agent: EmailWolf 

Allow: /* 



User-agent: ExtractorPro 

Allow: /* 



User-agent: CopyRightCheck 

Allow: /* 



User-agent: Crescent 

Allow: /* 



User-agent: SiteSnagger 

Allow: /* 



User-agent: ProWebWalker 

Allow: /* 



User-agent: CheeseBot 

Allow: /* 



User-agent: LNSpiderguy 

Allow: /* 



User-agent: Alexibot 

Allow: /* 



User-agent: Teleport 

Allow: /* 



User-agent: TeleportPro 

Allow: /* 



User-agent: MIIxpc 

Allow: /* 



User-agent: Telesoft 

Allow: /* 



User-agent: Website Quester 

Allow: /* 



User-agent: WebZip 

Allow: /* 



User-agent: moget/2.1 

Allow: /* 



User-agent: WebZip/4.0 

Allow: /* 



User-agent: WebStripper 

Allow: /* 



User-agent: WebSauger 

Allow: /* 



User-agent: WebCopier 

Allow: /* 



User-agent: NetAnts 

Allow: /* 



User-agent: Mister PiX 

Allow: /* 



User-agent: WebAuto 

Allow: /* 



User-agent: TheNomad 

Allow: /* 



User-agent: WWW-Collector-E 

Allow: /* 



User-agent: RMA 

Allow: /* 



User-agent: libWeb/clsHTTP 

Allow: /* 



User-agent: asterias 

Allow: /* 



User-agent: httplib 

Allow: /* 



User-agent: turingos 

Allow: /* 



User-agent: spanner 

Allow: /* 



User-agent: InfoNaviRobot 

Allow: /* 



User-agent: Harvest/1.5 

Allow: /* 



User-agent: Bullseye/1.0 

Allow: /* 



User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) 

Allow: /* 



User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 

Allow: /* 



User-agent: CherryPickerSE/1.0 

Allow: /* 



User-agent: CherryPickerElite/1.0 

Allow: /* 



User-agent: WebBandit/3.50 

Allow: /* 



User-agent: NICErsPRO 

Allow: /* 



User-agent: Microsoft URL Control - 5.01.4511 

Allow: /* 



User-agent: DittoSpyder 

Allow: /* 



User-agent: Foobot 

Allow: /* 



User-agent: SpankBot 

Allow: /* 



User-agent: BotALot 

Allow: /* 



User-agent: lwp-trivial/1.34 

Allow: /* 



User-agent: lwp-trivial 

Allow: /* 



User-agent: BunnySlippers 

Allow: /* 



User-agent: Microsoft URL Control - 6.00.8169 

Allow: /* 



User-agent: URLy Warning 

Allow: /* 



User-agent: Wget/1.6 

Allow: /* 



User-agent: Wget/1.5.3 

Allow: /* 



User-agent: Wget 

Allow: /* 



User-agent: LinkWalker 

Allow: /* 



User-agent: cosmos 

Allow: /* 



User-agent: moget 

Allow: /* 



User-agent: hloader 

Allow: /* 



User-agent: humanlinks 

Allow: /* 



User-agent: LinkextractorPro 

Allow: /* 



User-agent: Offline Explorer 

Allow: /* 



User-agent: Mata Hari 

Allow: /* 



User-agent: LexiBot 

Allow: /* 



User-agent: Web Image Collector 

Allow: /* 



User-agent: The Intraformant 

Allow: /* 



User-agent: True_Robot/1.0 

Allow: /* 



User-agent: True_Robot 

Allow: /* 



User-agent: BlowFish/1.0 

Allow: /* 



User-agent: JennyBot 

Allow: /* 



User-agent: MIIxpc/4.2 

Allow: /* 



User-agent: BuiltBotTough 

Allow: /* 



User-agent: ProPowerBot/2.14 

Allow: /* 



User-agent: BackDoorBot/1.0 

Allow: /* 



User-agent: toCrawl/UrlDispatcher 

Allow: /* 



User-agent: suzuran 

Allow: /* 



User-agent: TightTwatBot 

Allow: /* 



User-agent: VCI WebViewer VCI WebViewer Win32 

Allow: /* 



User-agent: VCI 

Allow: /* 



User-agent: Szukacz/1.4 

Allow: /* 



User-agent: Openfind data gatherer 

Allow: /* 



User-agent: Openfind 

Allow: /* 



User-agent: Xenu's Link Sleuth 1.1c 

Allow: /* 



User-agent: Xenu's 

Allow: /* 



User-agent: Zeus 

Allow: /* 



User-agent: RepoMonkey Bait & Tackle/v1.01 

Allow: /* 



User-agent: RepoMonkey 

Allow: /* 



User-agent: Microsoft URL Control 

Allow: /* 



User-agent: Openbot 

Allow: /* 



User-agent: URL Control 

Allow: /* 



User-agent: Zeus Link Scout 

Allow: /* 



User-agent: Zeus 32297 Webster Pro V2.9 Win32 

Allow: /* 



User-agent: Webster Pro 

Allow: /* 



User-agent: EroCrawler 

Allow: /* 



User-agent: LinkScan/8.1a Unix 

Allow: /* 



User-agent: Keyword Density/0.9 

Allow: /* 



User-agent: Kenjin Spider 

Allow: /* 



User-agent: Iron33/1.0.2 

Allow: /* 



User-agent: Bookmark search tool 

Allow: /* 



User-agent: GetRight/4.2 

Allow: /* 



User-agent: FairAd Client 

Allow: /* 



User-agent: Gaisbot 

Allow: /* 



User-agent: Aqua_Products 

Allow: /* 



User-agent: Radiation Retriever 1.1 

Allow: /* 



User-agent: Flaming AttackBot 

Allow: /* 



User-agent: Makbot

Allow: /*

كذلك ملف sitemap.xml وهو ليس ضروي الإلتزام بهذا الاسم يمكن لك تعطية اي اسم لكن يجب تعرف لمحركات البحث في ملف robot.txt

يوجد برامج تقوم بعمل ذلك
و استطيع اقول ان اغلب هده البرامج لا تنجح في عمل sitemap مميزة لموقعك
ولو كان موقعك صغير
فالافضل ان تعملها بطريقة يدوية
يمكن هذا الموقع يعمل لك sitemap الى 500 رابط من موقعك

سوف ابحث لك عن درس مبسط قليلاً وسوف تتعلم ذلك

Sitemap.xml

كود:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.google.com/schemas/sitemap/0.9">

<url><loc>http://www.zhra.net/index.php</loc></url>

</urlset>

في المثال السابق sitemap مكونة من رابط واحد
الشرح
1- استخدم برنامج المفكرة ولا تستخدم اي برنامج اخر لعمل sitemap
لا تستخدم اي محرر للغة html مثل فرنت بيج // فقط المفكرة

هذا الشرح من قوقل
https://www.google.com/webmasters/to...r otocol.html
يوجد دوال ليس لها حاجة متل اهمية الرابط و الفترة الزمنية لزيارة الرابط و غيرها
لان محرك البحث سوف يعمل حسب ماهو ستاندر لديه
لذلك انا تجاهلت ادراج تلك الدوال

2- في المثال السابق يوجد 4 اسطر
السطر 1+2 هذه لا تتكر
السطر 4 لإغلاق الدالة

3- بقي عندنا السطر رقم (3) وهو المهم
تعمل له نسخ و لصق
وفي كل مرة تضع رابط جديد من روابط موقعك

نفرض ان عندك منتدى به عدد 2000 من الاعضاء و كذلك عدد 2000 من المواضيع + عدد 2000 من المواضيع المؤرشفة
ادا تكرر هدا السطر 6000 مرة

ملاحظات

يجب ان تعرف مكان الملف sitemap.xml في ملف robots.txt
يجب ان لا يزيد حجمملف sitemap عن 5 ميجا و انا بفضل انه ما بيزيد عن 2 ميجا

اذا عملت عدد 2 ملف sitemap
واحد للموقع و الاخر للمنتدى
هنا ملف sitemap.xml الخاص بالمنتدى يجب يكون في الدليل الرئيسي للمنتدى
مثال:
www.your domain.com/vb/sitemap.xml
وان تعرف مكانه في قوقل لخدمات مدراء المواقع و كذلك في ملف robots.txt
وكتير اشياء
لكن يهمني ان توصل الفكرة لديك

الله يعطيك العافيه اخوى اواختى زهره
حقيقة الكلام جميل لكن صدع راسى وانا جالسه اقراه

الحين بخصوص robots.txt

انسخ الكود فى الاعلى وافتح مفكره واضعه فى الملف الرئيسى ؟

طيب انا عندى دليل مواقع فى الصفحه الرئيسيه وعندى منتدى فى صفحه اخرى vb

ما العمل ؟

اما بالنسبة لـ sitemap.xml
صعب على فهمه بصراحه

مع الشكر

المجلدات التي لا تريد ان يدخلها محركات البحث اضيفيا

هذا ملف روبوت جاهز من موقعي أنسخة في ملف تكست وضعه على الدليل الرئيسي
http://www.zhra.net/robots.txt
تحت هذا السطر ضعي المجلدات التي رلا تريدين ان يدخلها محركات البحث
CSS test pages unsafe for IE4.01 Mac, don't go there

مثل
admincp
images
includes وغيرها

وهذه قائمة بالربوتات السيئة التي تستهلك قدر كبير من الباندودث و مخصصة للسبام
http://www.yellowpipe.com/yis/tools/...afe-robots.php

أما sitemap
يمكن من ذلك الموقع عمل سايت صغيرة 500 رابط فقط

يسلمو والله ما قصرتى
راح انسخ الملف
لكن بس اغير من رابط موقعك الى رابط موقعى صح ؟
ثانى شى انا ما عندى سايت مابز sitmap.xml
عادى صح اضع الروبوت ؟

بروكت توليد خريطة المنتدى لجوجل وياهو الإصدار الثاني والاخير

أصلي بلا أي تلاعب
وهاهو رابط الشركة المنتجة للتأكد من الإصدار
http://www.vbulletin.org/forum/showt...php?t=10 0435

يقوم البرودت بتوليد خريطة المنتدى المتوافقة مع محرك البحث جوجل و ياهو
ويقوم البرودكت بإخبار جوجل تلقائيا بخريطة المنتدى الجديدة بمجرد إنشائها
لكن بالنسبة لياهو عليك اخبارها بنفسك على الأقل لأول مرة
وده رابط الياهو لرفع السايت ماب الخاصة بموقعك

[/color][/size]http://submit.search.yahoo.com/free/request

ولاحظ هنا أن البرودكت العملاق vbseo يطلبه لتوليد السايت ماب للمنتدى

طريقة الإستخدام
يمكنك الذهاب الى
www.yourdomain.com/vb/vbseo_sitmap

بعد توليد السايت ماب الخاصة بمنتداك
إذهب إلى
www.yourdomain.com/vb/vbseo_sitmap/data
ستجد ملفات السايت ماب

الآن تذهب لياهو وتعطيه رابط هذا السايت ماب
مثال لياهو
www.yourdomain.com/vb/vbseo_sitmap/data/sitemap.tx t.gz

الامتداد .gz هوضغط للسايت ماب لا تغيره لأن ياهو يتعرف عليه بشكل طبيعي

طريقة التركيب
كل ما عليك هو رفع المجلد vbseo_sitemap الى مجلد VB لديك
وإستدعاء البرودكت من لوحة تحكم الإدارة

للتحميل

كلمة السر لفك الضغط
baramegtop.22web.net