إن تحسين ظهور موقعك في نتائج البحث الأولى لا يعتمد على تحسين المحتوى فحسب، لأن هناك عدة إجراءات تقنية يجب أن تقوم بها بداية إطلاقك للموقع وهي تندرج ضمن تثبيت الأدوات والملفات الأساسية للعمل على تحسين ظهور الموقع في نتائج البحث الأولى.

لملف robots.txt تأثير كبير على تصدر موقعك نتائج البحث الأولى، فهو الذي يحدد لعناكب محركات البحث الصفحات التي يجب أن تزحف إليها والصفحات التي يُمنع عليها الوصول إليها.

ما هو ملف robots.txt؟ 

ملف نصي يُضاف إلى المواقع الإلكترونية تتلخص مهمته في توجيه عناكب محركات البحث التي تعمل على استكشاف المحتوى وتصنيفه، إذ نتحكم من خلاله بالصفحات التي نريد لمحرك البحث أرشفتها وتصنيفها ضمن نتائج البحث كصفحات المقالات والمنتجات مثلاً.

والصفحات التي نريد لمحرك البحث استبعادها من الأرشفة والتصنيف في نتائج البحث كصفحات الموقع الداخلية مثل صفحة تسجيل الدخول إلى الووردبريس مثلاً.

ما فائدة إنشاء ملف robots.txt؟

• توجيه عناكب محركات البحث: يمكنك استخدام ملف robots.txt لمنع عناكب محركات البحث من فهرسة صفحات ليست ذات صلة بمحتوى الموقع أو لا تهم زوار موقعك، مما يعود بالفائدة لموقعك وللزوار. 
• حماية المعلومات الحساسة: وذلك عبر استبعاد الصفحات المهمة في الموقع والتي تتضمن هذه المعلومات من الأرشفة والتصنيف مما يساعد على حمايتها أكثر. 
• تقليل استهلاك الموارد: يمكن استخدام الملف لتوجيه محركات البحث الابتعاد الصفحات والمجلدات التي لا أهمية لها لعدم فهرستها، مما يقلل من استهلاك الموارد على الخادم.

كيفية إنشاء ملف robots.txt

• استخدم أي محرر نصوص مثل: (Notepad أو TextEdit أو vi أو emacs)، لإنشاء ملف نصي فارغ.
• ابدأ بإضافة التعليمات للملف: 
• User-agent: يحدد محركات البحث التي تطبق هذه القواعد.
• Disallow: يحدد الصفحات التي لا يجب أن تزورها محركات البحث، على سبيل إن كنت تريد منع جميع محركات البحث من الوصول إلى مجلد على موقعك يدعى فرضاً "private" تكون صياغة الأمر بهذه الطريقة: 
• User-agent: *
• Disallow: /private/
• Sitemap: yourdomain.com/sitemap.xml
• Allow: يحدد الصفحات التي يسمح لمحركات البحث زيارتها.
• User-agent: *
• Allow: /private/
• Sitemap: yourdomain.com/sitemap.xml
• Sitemap: يشير إلى موقع خرائط الموقع (sitemap) لموقع الويب. 

تُكتب هذه الأوامر كلها في ملف واحد ويوضع في جذر موقع الويب الخاص بك. 

• بعد حفظ التعليمات، تقوم بتسمية الملف بـrobots.txt وهذا شرط ضروري وإلا فلن يعمل. بعد ذلك يتم وضع الملف مع ملفات الاستضافة لبموقعك الويب، يجب أن يظهر الملف كالتالي: (www.example.com، هو عنوان موقع الويب الخاص بك)
• www.example.com/robots.txt

• التحقق من صحة الملف: ويكون ذلك من خلال أدوات جوجل Google Search Console تستطيع اختبار صحة ملف robots.txt ما إذا كان يمنع عناكب محركات البحث من الزحف إلى الصفحات التي لا تريد ظهورها، وهل تمت عملية الحظر بشكلٍ سليم.

طريقة إنشاء ملف robots.txt باستخدام Yoast SEO

إذا كنت تستخدم إضافة يوست سيو على موقعك فبإمكانك استخدامها لإنشاء ملف robots.txt بسهولة، فقط اتبع الخطوات الآتية: 

• بدايةً سجل دخولك إلى موقع ووردبريس
• انتقل إلى القائمة في اليمين  واضغط على "SEO":

• من ثم اضغط على "أدوات" أو "Tools كما هو موضح في الصورة الآتية:

• ستظهر لك عدة خيارات اضغط على "محرر الملف" أو "file editor":

• أجري التغيير المطلوب على ملف robots.txt، ثم انقر على save لحفظ التغييرات، كما هو موضح في الصورة: 

طريقة إنشاء ملف robots.txt باستخدام إضافة Rank Math SEO

من أجل إنشاء أو تعديل ملف robots.txt باستخدام إضافة Rank Math SEO، اتبع الخطوات الآتية: 

• سجل دخولك إلى موقع ووردبريس الخاص بك
• انقر على خيار "Rank Math" 
• من ثم خيار "General Settings"
• ستظهر لك مجموعة خيارات، اضغط على خيار robots.txt  
• أجري التعديلات المطلوبة على الملف
• من ثم احفظ التغييرات

طريقة إنشاء ملف robots.txt عبر أداة sureoak

تُعد أداة sureoak من الأدوات التي تستطيع من خلالها إنشاء ملف robots.txt بسهولة، من ثم إضافة الملف إلى ملفات الاستضافة لموقعك. 

لإنشاء الملف عبر أداة sureoak، اتبع الخطوات الآتية: 

• اذهب إلى موقع الأداة، لا تحتاج إلى تسجيل دخول
• بعدها تظهر لك الواجهة تحتوي على مربع تضع فيه رابط خريطة الموقع والمربع الثاني تضع فيه الأكواد لتحديد الصفحات التي تريد منع الزحف إليها والصفحات التي تريد ظهورها في محركات البحث، كما هو موضح في الصورة الآتية: 

نقاط سلبية يجب الحذر منها أثناء إنشاء ملف robots.txt تؤثر على SEO

إن صعوبة إنشاء ملف robots.txt قد يؤدي إلى حدوث أخطاء غير مقصودة تُلحق الضرر بموقعك، لذلك يجب الانتباه عند إنشاء الملف، هذه بعض النقاط السلبية التي قد تضر الموقع: 

• إذا لم يتم إنشاء ملف robots.txt بشكل صحيح فقد يؤدي إلى تجاهل صفحات مهمة في الموقع من قبل محركات البحث، والعكس أيضاً يمكن استبعاد صفحات مهمة من الظهور
• عدم فرض القيود على بعض الصفحات يمكن أن يوصل عناكب البحث إلى صفحات ذات محتوى مكررة أو غير مفيدة مما يؤثر على تصنيف موقعك في نتائج البحث. 
• يجب التأكد من صياغة الأمر بشكل صحيح لأن الأخطاء البسيطة يمكنها فعل مشاكل في الفهرسة. 
• عدم التحقق من صحة الملف باستخدام  Google Search Console قد يؤثر على SEO  بسبب أخطاء قد لا تنتبه 

لها.

• يمكن أيضاً للأخطاء التي تحدث خلال إنشاء الملف أن تؤثر على تجربة المستخدم بسبب ظهور صفحات غير مهمة مما يؤدي إلى انخفاض معدل الزوار. 

ختاماً

في هذا المقال نكون قد أوجزنا ببساطة عن كل ما يخص ملف robots.txt ما هو وكيفية إنشائه وأهميته لمواقع الويب، وكيف أن الأخطاء البسيطة يمكن أن تضر في موقعك بالكامل، فله دور فعّال في تحسين محركات البحث وتصدر موقعك نتائج البحث، وتنظيم الفهرسة.