فایل Robots.txt چیست؟

قسمت قبل اطلاعات کاملی در رابطه با تگ کنونیکال (Canonical) را در اختیار شما عزیزان قرار دادیم. حالا در این جلسه می‌خواهیم در رابطه با فایل Robotx.txt صحبت کنیم. این فایل به همان اندازه که می‌تواند مهم باشد می‌تواند خطرناک هم باشد. همچنین می‌تواند تاثیرات مثبتی در سئو سایت شما داشته باشد. در این جلسه می‌خواهیم به شما آموزش دهیم که چگونه این فایل را به بهترین شکل ممکن بسازید و از آن استفاده کنید.

فایل Robotx.txt چیست؟

فایل Robotx.txt در واقع فایلی است که تقریبا در تمامی وب‌سایت‌ها وجود دارد. اگر جلوی دامنه وب‌سایت خود عبارت Robotx.txt/ را بنویسید و جستجو کنید، فایل Robotx.txt برای شما Run خواهد شد. در این فایل یک سری دستورات وجود دارد. این دستورات شامل قوانینی است که برای ربات‌های موتورهای جستجوگر از جمله گوگل نوشته شده است. خیلی وقت‌ها می‌تواند این فایل برای شما کارآمد باشد و اگر یک سری ترفندها در آن رعایت شود، می‌تواند تاثیر مثبتی بر سئو سایت بگذارد.

همانطور که گفتیم در فایل Robotx.txt که در روت اصلی هاست هم قرار می‌گیرد، یک سری قوانینی درج می‌کنیم که به ربات‌های توسعه داده شده در سراسر وب دستور خواهد داد که چه کاری را در سایت ما انجام دهند و چه کاری را انجام ندهند. اکثر ربات‌ها برایشان مفهوم است که چگونه از این قوانین پیروی کنند. البته مهم‌ترین ربات‌های هدف برای ما ربات‌های موتور جستجوگر گوگل (Google Bot) هستند.

البته اگر در رابطه با این فایل و نحوه عملکرد آن اطلاعات کافی ندارید، بهتر است که اصلا در آن تغییری ایجاد نکنید. حتی اگر در رابطه با مواردی که در آن نوشته شده هیچ اطلاعی ندارید، بهتر است که این فایل را خالی بگذارید. خالی گذاشتن آن نتجیه بدی به همراه ندارد و ربات‌ها آن را به صورت پیش فرض به حساب می‌آورند. اما به صورت کلی خیلی خوب است که در این فایل نقشه سایت خود را فراخوانی کنیم و سپس نقشه سایت را به ربات گوگل در Robotx.txt هم ارائه دهیم. البته قابل ذکر است که در فایل Robotx.txt می‌توانیم دسترسی ربات‌ها را به مسیرهای مختلف سایت خود را محدود یا آزاد کنیم.

ساخت فایل Robotx.txt

حالا می‌خواهیم مسیر ساخت فایل Robotx.txt را مرحله به مرحله برای شما توضیح دهیم. نخست باید بگوییم که در ابتدای تمامی دستورات اولیه که در این فایل نوشته می‌شوند، یک دو نقطه باید وجود داشته باشد.

دستور User-argent

ابتدا از User-argent شروع می‌کنیم. تمامی دستوراتی که در زیر این عبارت نوشته می‌شوند، مربوط به مخاطب ما است. پس از تایپ این عبارت یک Space بزنید و یک علامت ستاره قرار دهید (*). معنی علامت ستاره این است که می‌خواهیم به تمامی ربات‌ها دستور دهیم. البته بعد از User-argent هر عبارتی را که تایپ کنید در واقع به آن ربات دستور داده‌اید.

دستور Disallow

عبارت دیگری به نام Disallow وجود دارد که به وسیله آن ما می‌توانیم مسیرهایی که می‌خواهیم را محدود کنیم. به عنوان مثال ممکن است شما یک حساب کاربری در سایت خود داشته باشید که در وردپرس وجود نداشته باشد یا برنامه نویسی شده باشد. حالا شما می‌خواهید این پنل کاربری را از گوگل مخفی کنید. یا به عبارت بهتر اجازه دسترسی را محدود کنید. در واقع انگار که ما به ربات گوگل می‌گوییم که درون این پوشه نرو.

البته برعکس کار قبلی نیز می‌توانید اجازه دسترسی را بدهید که ربات‌ها به هر پوشه‌ای که می‌گویید دسترسی داشته باشند و بتوانند واردش شوند.

نکات مهم درباره فایل Robotx.txt

بسیار مرسوم است که پوشه WP-admin را در خیلی از سایت‌ها Disallow می‌کنند که گوگل آن را بررسی نکند. اما فایلی درون پوشه WP-admin به نام Admin-ajax.php وجود دارد. همانطور که گفتیم در گذشته گوگل شاید فقط کدهای HTML را بررسی می‌کرد، ولی جدیدا گوگل همه موارد ظاهری یک سایت را بررسی می‌کند تا نتایج بهتری به کاربرانش نمایش دهد. در جلسات گذشته گفتیم که مثلا اگر متنی را برای سئو مخفی کنید تا کاربران نبینند، امتیاز منفی محسوب می‌شود. زیرا گوگل متوجه این کار خواهد شد. پس بهتر است که با درج کد Allow مانند پایین به گوگل اجازه دسترسی به این فایل را بدهیم.

Allow: /WP-admin/admin-ajax.php

همانطور که در ابتدای مقاله گفتیم فایل Robotx.txt می‌تواند خطرناک یا خراب باشد. به عنوان مثال اگر چنین عبارتی را Disallow در این پوشه وارد کنید، می‌تواند به کلی سایت شما را خراب کند و باعث شود که گوگل دیگر هیچ چیز را در سایت شما بررسی نکند و نبیند. بنابراین باید دقت کافی را در تولید این فایل داشته باشید. حالا اگر تمایل دارید که فایل Robotx.txt سایت خود را مشاهده کنید، کافی است که جلوی نام دامنه خود عبارت Robotx.txt/ را تایپ کنید تا محتوای آن فایل به شما نمایش داده شود. البته در صورتی که این فایل در هاست شما وجود نداشته باشد، وردپرس به صوت پیش فرض آن را به شما نمایش خواهد داد.

افزودن فایل Robotx.txt

به کنترل پنل هاست خود بروید (سی‌پنل یا دایرکت ادمین) بر روی دکمه File بالای صفحه کلیک کنید. سپس در صفحه باز شده عبارت Robotx.txt را تایپ کرده و بر روی گزینه Create New File کلیک نمایید. الان توانستید یک فایل Robotx.txt بسازید. سپس می‌توانید آن را Edit کرده و کدهای دستوری مورد نظر خود را در آن وارد کنید. حالا به پیشخوان وردپرس خود بروید و سپس بر روی گزینه سئو کلیک کنید. در ادامه به بخش امکانات بروید و از قسمت نقشه‌های XML سایت بر روی گزینه مشاهده نقشه سایت کلیک کنید. با انجام این کار می‌توانید نقشه سایت خود را مشاهده نمایید. سپس آدرس آن را کپی کنید و در فایل Robotx.txt به عنوان نقشه سایت وارد نمایید.

البته باید به این نکته توجه کنید که برای URL و صفحات نباید این کار را انجام دهید و فایل Robotx.txt را زیاد دستکاری نکنید. زیرا این کار به شدت خطرناک است. برای اینکه صفحه‌ای در گوگل ایندکس نشود، باید از یک تگ به نام Noindex استفاده کنید. در بخش Yoast SEO هر نوشته، اگر بر روی آیکون چرخ دنده کلیک کنید می‌توانید تعیین نمایید که آیا موتورهای جستجو اجازه دارند که این محتوا را ایندکس کنند یا نه. اگر گزینه خیر را انتخاب نمایید یک تگ NoIndex ایجاد خواهد شد و موتورهای جستجو دیگر دسترسی برای ایندکس کردن آن محتوا را نخواهند داشت. البته این راه هم اضافه کنیم که ایندکس نشدن سایت دلایل دیگری هم دارد که در مقاله دلایل ایندکس نشدن سایت در گوگل گفته شده است.

سخن پایانی

مشاهده کردید که با وارد کردن کدهای دستوری درست و مناسب در فایل Robotx.txt می‌توانید سایت خود را در مقابل ربات‌ها به خوبی مدیریت کنید. همچنین با ایجاد یک فایل استاندارد می‌تواند سئو (SEO) سایت خود را بهبود دهید. در کل امیدواریم که این مقاله و نکات و ترفندهایی که در آن آموزش دادیم برای شما مفید واقع شده باشد. در جلسه بعد از دوره آموزش سئو وردپرس همراه ما باشید که قصد داریم به سراغ معرفی گوگل سرچ کنسول برویم. در صورتی که در مورد سئو در سایت خود ابهام و سوالی دارید می توانید از طریق مشاوره سئو نیاز خود را رفع کنید.