موتور جستجو گوگل به تجربه کاربری سایت‌ها توجه ویژه‌ای دارد، یکی از مواردی که به تجربه کاربری کاربران لطمه زیادی وارد می‌کند بحث از دسترس خارج شدن سایت یا به اصطلاح down شدن آن است. همان‌طور که قبلاً هم گفته شد Robots.txt در پوشه اصلی سایت قرار می‌گیرد. این محلی پیش‌فرض است که ربات‌ها و خزنده‌ها آن را بررسی می‌کنند تا به دنبال این فایل باشند. درنتیجه اگر این فایل در آنجا نباشد برای ربات‌ها به این معنی است که این سایت فایل Robots.txt ندارد. فایل‌های Robots.txt دسترسی خزنده به ناحیه های خاصی از سایت شما را کنترل می‌کنند.

• در صورتی که از قبل به کمک این پلاگین یک فایل robots.txt هم برای سایت‌تان ایجاد نکرده باشید به صورت زیر به شما پیشنهاد ایجاد یک فایل جدید می‌دهد که باید بر روی آن کلیک کنید.
• پیشنهاد اونا استفاده از افزونه ریدایرکت بود و حالا اینکه اینا درست میگن یا نه تا حد زیادی به نظر خودم درسته .
• دلیل دیگر استفاده از فایل robots.txt زمانی است که می خواهید رباتهای گوگل را از ایندکس یک مقاله یا صفحه خاصی از وب سایت خود مسدود کنید.

واقعا پشتیبانی خیلی خوبی دارید ممنون از وقتی که برامون میذارید… من چندوقتی هست که بااین گروه کارمیکنم واقعادرزمینه پشتیبانی بهتروفعال‌ترودلسوز‌‌ترازاین گروه ندیدم.بینظیرهمراه هستندو مسولیت پذیر… سلام بزرگوار بنده وظیفه خود میدانم به خاطر عملکردعالی ربات شما تشکر و قدردانی کنم…

چگونه اقدام به ساخت فایل robots.txt کنیم؟

این ابزار به صورت خودکار این فایل را برداشته و آن را تست می کند. همه خطاهای احتمالی و خطرات و ایرادها را همینجا به شما تذکر می دهد. علاوه بر این شما می توانید با کلیک روی گزینه ” FILE+” طبق تصویر زیر، در فیلدNew File Name، فایلی را با نامrobots.txtوارد کرده و در نهایت Create New File کلیک کنید تا فایل شما ساخته شود.

نحوه استفاده از دستور Crawl-delay *

2- کد robots.txt اصلاح شده خود را از صفحه ابزار تست Robots.txt با کلیک بر روی دکمه آپلود در کادر محاوره‌ای آپلود کنید. این کار فقط به خزنده گوگل می‌گوید که هیچ صفحه‌ای را که حاوی رشته URL /example-subfolder/ است، نخزد. نام فایل robots.txt باید با حروف کوچک باشد (بدون Robots.txt یا ROBOTS.TXT). فایل روبوت سایت مانند هر فایل دیگری در وب‌سایت بر روی وب سرور میزبانی می‌شود. 2- ایندکس کردن آن محتوا به‌طوری‌که بتوان آن را برای جستجوگرانی که به دنبال اطلاعات هستند ارائه کرد.

آموزش رفع خطا در اتصال به پایگاه داده در هنگام نصب وردپرس

اما قطعا هیچ وقت بیشتر از یکی دو روز نمیکشه که از جست و جوی خودتون به نتیجه دل خواه میرسید. و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید. پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.