مرحبا بكم أصدقائي الكرام في موضوع جديد من دورة بلوجر لكيفية انشاء مدونة عربية احترافية من الصفر..
موضوعنا اليوم هوعن كيفية انشاء ملف خريطة للموقع أو Robot.txt للمدونة او الموقع بشكل صحيح ودورها هو أولا وضع خريطة للموقع لتسهيل فهرسة مواضيعك ثم ثانيا لمنع فهرسة الروابط الثابتة كالصفحات الأقسام والتصنيفات والبحث لمنع تكرار المحتوى بمدونتك.
في هذا الموضوع إن شاء الله سنعرف كيفية انشاء ملف خريطة الموقع أو Robot.txt للمدونة او الموقع واختبارها بشكل صحيح وبخطوات بسيطة وصحيحة..
ماهو ملف خريطة الموقع أو Robot.txt ؟؟
ملف خريطة الموقع أو Robot.txt هو ملف txt نعده مسببقا ودوره كما قلنا سابقا هو أولا وضع خريطة للموقع لتسهيل فهرسة مواضيعك ثم ثانيا لمنع فهرسة الروابط الثابتة كالصفحات الأقسام والتصنيفات والبحث لمنع تكرار المحتوى بمدونتك ، لاكن يجب أن يكون صحيحا ليعمل بشكل صحيح ثم يجب وضعه بالمدونة واختباره بموقع مشرفي المواقع بجوجل مثلا..
ملف خريطة الموقع أو Robot.txt الصحيح
بعد تجربتنا سابقا لملفات خريطة الموقع أو Robot.txt إتضح لنا وجود عدة مشاكل بها أهمها الروابط المكررة لنفس الموضوع وثانيا ظهور عدة صفحات مستبعدة في موقع مشرفي المواقع بجوجل أخيرا بعد تجربة هذا الملف بالأسفل إختفت مشاكل التكرار لاكن طبعا مع تغيير آخر في قسم تفضيلات البحث في إعدادات بلوجر..
التطبيق العملي لإنشاء ملف خريطة الموقع أو Robot.txt صحيح
قم اولا بنسخ هذا الملف لخريطة الموقع أو Robot.txt ثم قم بلصقه في ملف txt ثم قم بالتغييرات التالية عليه:
User-agent: *
Disallow: /p/redirect_30.html
Disallow: /p/contact-us.html
Disallow: /p/terms-and-conditions.html
Disallow: /privacy-policy.html
Disallow: /p/sitemap-ar.html
Disallow: /search
Allow: /
Allow: /ads.txt
Sitemap: https://soft224.blogspot.com/sitemap.xml
الشرح:
Disallow تعني المنع
Allow تعني السماح
sitemap تعني خريطة الموقع
التغييرات:
بالبرتقالي رابط موقعي قم بحذفه وإظافة موقعك مكانه لاتنسى هذا مهم جدا.
باللون الأحمر هي صفحاتي الثابتة والتي أمنع محركات البحث من فهرستها في كل مرة قم بحذفها وتغييرها بصفحاتك الثابتة "الصفحات الثابتة هي: من نحن ، سياسة الخصوصية، اتفاقية الإستخدام، فهرس الموقع...الخ"
للحصول على الروابط قم بفتح صفحاتك الثابتة وانسخ رابطها ثم قم بحذف الباقي وألصقها مكان روابطي بالأعلى هكذا مثلا هذا رابط صفحة أعلن معنا الخاص بي:
https://soft224.blogspot.com/p/contact-us.html
النتيجة:
/p/contact-us.html
نقوم الآن بوضعه بملف خريطة الموقع بالأعلى لمنع فهرسته في كل مرة...
الباقي لاتغيره...
بعد تعديل ملف خريطة الموقع الآن نتوجه لمنصة بلوجر والإعدادات ثم نضعه هناك... تابع الشرح المصور بالأسفل..
وأيضا سنقوم بتغيير تفضيلات البحث مثل الصور تماما لاتزيد ولا تتنقص...
نذهب لمنصة بلوجر / الإعدادات / برامج الزحف والفهرسة/ نفعل محتوى ملف robot.txt مخصص /ونفعل علامات الرؤوس المخصصة لبرامج الروبوت ثم:
1- نضغط لإظافة ملف robot.txt مخصص.
2- ثم بعدها نضغط على ال3 بالأسفل لتفعيل علامات الرؤوس للصفحة الرئيسية ،الأرشيف والبحث، المشاركات والصفحات..
نضيف هنا ملف الrobot.txt الذي حصلنا عليه سابقا بالأعلى .. ثم نضغط حفظ...
نقوم بتفعيل علامات برامج الروبوت المخصصة للصفحة الرئيسية .. حاول إتباع الصور وأن لاتخطئ ... بعدها نقوم بالحفظ...
الآن نفعل علامات برامج الروبوت المخصصة لصفحات الأرشيف والبحث .. ثم نقوم بالحفظ..
أخيرا نفعل علامات برامج الروبوت المخصصة للمشاركات والصفحات .. ثم نقوم بالحفظ..
الآن تم الأمر تقريبا.. أنشأنا ملف روبوت خاص بنا فعلناه ووضعناه في بلوجر.
قمنا بتفعيل علامات برامج الروبوت بالشكل الصحيح..
الهدف من السابق هو لمنع ارشفة الصفحات الثابتة ومنع تكرار وارشفة التصنيفات label وغيرها... وأيضا لضمان الأرشفة بطريقة سليمة للموقع...
الآن بقي أن نقدم ملف الروبوت txt الجديد والخاص بمدونتنا لجوجل كونصول ونجرب عمله..
هذا القسم قد لاتجده متوفر حاليا بجوجل تم تحديثه انتقل للأسفل للملاحظة ↓↓↓
نقوم بتقديم واختبار ملف الروبوط الجديد في موقع جوجل لأدوات مشرفي المواقع .. تابع الشرح المصور بالأسفل...
لإختبار أي ملف جديد لخريطة الموقع أو Robot.txt قم بتغيير الرابط بالأحمر برابط موقعك أو مدونتك:
https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=+6062598&siteUrl=https://www.softpudia.com/
ثم قم بنسخ الرابط الناتج ولصقه في متصفحك والدخول إليه
بعد فتح هذا الرابط لجوجل كونصوول نقوم بلصق ملف الروبوط txt به ثم نضغط إختببار test / إذا ظهر اللون الأخضر allow مع عدم وجود أخطاء أو تحذيرات 0Errors 0Warnings في هذه الحالة نضغط على submit كما بالصورة:
ثم نعيد الضغط على Submit...
تم الإرسال بنجاح بعد دقيقة تقريبا نعيد تحميل الصفحة وسنجد أن كود ملف الروبوط txt أصبح مفعلا أو معتمدا لدى مشرفي المواقع أيضا.. وانتهى الأمر..
وبهذا حصلت على ملف robot.txt لخريطة الموقع الخاص بك ووضعته ببلوجر ومشرفي المواقع، وقمت باختباره في ادوات مشرفي المواقع بجوجل ،فعلت الرؤوس المخصصة لبرامج الروبوت بشكل صحيح.. وسيتم أرشفة مواضيعك مستقبلا إن شاء الله بشكل صحيح دون تكرار أو أخطاء أو صفحات مستبعدة من جوجل ،الدرس القادم ان شاء الله سيكون عن كيفية التسجيل بموقع ادوات مشرفي المواقع لجوجل بينغ.. وكيفية إرسال ملفات خريطة الموقع لها لبدأ الأرشفة.. حيث في درسنا اليوم جهزنا الموقع ولاحقا سنبدأ ارسال الأرشفة له (أظن الأمر إتضح).
ملاحظة هامة: القسم السابق لاختبار ملف خريطة الموقع وإرساله لم يعد بهذه الطريقة بل يتم ارسال الملف ضمن المواضيع /sitemap.xml وستجده مفعل ذاتيا بعد ارساله في /اعدادات جوجل كونصول/ robots.txt/
ولابد ان تجد جنبه مكتوب كلمة صالحة وليس (لم يتم إيجاده) ولإرسال ملف خريطة الموقع وكل المواضيع sitemap معا الى موقع مشرفي المواقع راجع الموضوع بالأسفل