باید مراقب باشید چون این فایل به همه چیز حتی بزرگ و کوچک بودن حروف حساس است. بنابرین باید دقت کنید تا مشکلی برای ایندکس سایت به وجود نیاید. هر ربات و موتور جستجویی وقتی سایت شما را برای اولین بار میبیند به این فایل سر میزند. اولین کاری که می کند سر زدن به این فایل است، بنابراین دو حالت بیشتر وجود ندارد، یا این فایل را دارید و شامل دستورات است، یا این فایل خالی است که همین یعنی فایلی ندارید.

• برای دسترسی به دایرکتوری Root وب‌سایت‌تان می‌توانید به اکانت هاستینگ وب‌سایت وارد شوید.
• بهتر است دستورالعمل‌های هر موتور جستجو را بخوانید تا مطمئن شوید دستوراتی که می‌نویسید برای همه موتورهای جستجو کار می‌کند.
• چرا؟ ربات خزنده موتور جستجوی گوگل (همان Googlebot خودمان!) دارای ویژگی به نام Crawl Budget است.
• 1390 – 1401 © کلیه حقوق مادی و معنوی این وب سایت برای دهاستینگ محفوظ می باشد.
• از کاربردهای این دستور زمانی است که شما بخش بزرگی از سایت را بلاک کرده‌اید و قصد دارید اجازه دسترسی به یک یا چند صفحه از همان بخش به ربات‌های خزنده بدهید.
• همچنین شما می‌توانید زیر نظر خود دسترسی‌های متفاوتی را به این ربات‌ها دهید.

فایل Robots.txt، در واقع یک فایل متنی ساده است که در مسیر اصلی سایت یا روت دایرکتوری قرار می گیرد. دسترسی ربات‌های موتورهای جستجو را به بخش‌های مختلف و مشخص شده‌ای که اهمیت چندانی برای سئو و کسب رتبه در موتورهای جستجو ندارند را محدود می‌کنند. در این حالت نه تنها سرور سایت با ترافیک سبک‌تری فعالیت خواهد کرد، بلکه مراحل بررسی و جمع‌آوری اطلاعات و سپس ایندکس کردن آن‌ها توسط ربات‌ها نیز به مقدار بسیار زیادی سریع‌تر خواهد شد. اگر اجازه بررسی صفحه‌ای را با دستورات فایل ربات نداده باشیم باز هم امکان دارد گوگل آن را ایندکس کند و در نتایج جستجو ظاهر شود.

اگردقت داشته باشید در وردپرس از نسخه ۴ به بعد، مشخص شد که در فایل ربات این سیستم مدیریت محتوا دایرکتوری هایی مثل wp include یا plugins دیگر مورد ایندکس شدن قرار نمی گیرند. آیا از وجود فایل robots.txt در وب سایت خود مطمئن نیستید؟ تنها کافیست که عبارت robots.txt را به انتهای نام دامنه خود اضافه کرد و یو آر ال نهایی را در مرورگر خود وارد کنید. اگر هیچ صفحه متنی ظاهر نشد، پس چنین فایلی در سایت شما وجود ندارد.

۳- مشخص کردن بخش‌های مجاز برای ربات‌ها با Allow

اگر از ورود آی‌پی‌های مختلف به منابع Dissallow اطلاع داشته باشید می‌توانید از یک لیست سیاه برای این کار استفاده کنید و قسمت‌های مختلف سایت را با استفاده از این تکنیک ایمن کنید. اما Robots.txt چیست؟ چطور این فایل را به صورت بهینه برای سئو ایجاد کنیم؟ و از کجا بدانیم که این فایل هیچ نقصی ندارد؟ در این مقاله می خواهیم همه این موارد را بررسی کنیم. چرا که در صورت ایندکس شدن، ممکن است به عنوان صفحات زامبی یا بی ارزش شناخته شوند. لازم به ذکر است که ایندکس نشدن یک صفحه از سایت، به معنای دیده نشدن آن صفحه توسط کاربر نیست. یکی از تکنیک‌های سئوی کلاه سیاه است و در صورتی که به درستی آن را پیاده‌سازی نکنید، متهم به نقض قوانین موتورهای جستجو شده و شامل جریمه‌های گوگل خواهید شد.

راه های جلوگیری از دیدگاه های اسپم در وردپرس

با اجرای دستور Crawl-delay بعد از برطرف کردن مشکل، صفحه شما توسط ربات های موتور جستجوی گوگل کراول و ایندکس خواهد شد. بعد از اینکه public_html را باز کردید، فایل را به داخل آن بکشید؛ توجه داشته باشید که به عنوان مالک سایت، باید بتوانید به تمام قسمت های فایل دسترسی داشته باشید و آن را بخوانید، ویرایش کنید و بنویسید. لازم به ذکر است که این دسترسی ها را هیچ شخصی به غیر از مالک سایت نباید داشته باشد. در ادامه ی مقاله نحوه ساخت فایل ربات را با دستورات آن آورده ایم. اگر سایت شما وردپرسی است با نصب افزونه‌های سئو وردپرس نظیر رنک مث یا یوست سئو بصورت خودکار برای شما این فایل ایجاد خواهد شد.

فایل Robot.txt چیست؟

به عنوان مثال اگر دامنه شما Example.com است به ادرس example.com/robots.txt بروید و فایل robots.txt را مشاهده کنید. یکی از ابزارهای مختلف که به شما در بررسی صحت فایل robots.txt کمک می‌کند استفاده از ابزار تست robots.txt گوگل است. اگر می‌خواهید امنیت فایل ربات خود را چند درجه بالاتر ببرید از مکانیزم امنیتی Honeypot (یک مکانیزم مبتنی بر داده‌هایی که قابل دسترسی هستند اما دسترسی آن‌ها به صورت مداوم مانیتور می‌شود) استفاده کنید.