پس از مشخص کردن ربات هدف باید دستورات لازم را به آنها بدهید. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود. در این جا علامت های ریاضی همان پارامترهای جستجوی درون سایت هستند.
- در مرحله اول به هیچ عنوان نباید نشون بدین که یه شخص ثابت همش یه کلمه کلیدی ثابت رو سرچ میزنه.
- موتور جستجو گوگل به تجربه کاربری سایت‌ها توجه ویژه‌ای دارد، یکی از مواردی که به تجربه کاربری کاربران لطمه زیادی وارد می‌کند بحث از دسترس خارج شدن سایت یا به اصطلاح down شدن آن است.
- فایل ربات میتواند به امنیت سایت و افزایش ترافیک هم کمک کند.
- به این نکته توجه داشته باشید که این صفحات توسط گوگل و دیگر موتورهای جستجو بررسی نمی‌شوند.
درحالی‌که اگر شما به طور تصادفی Googlebot را از خزیدن در کل سایت خود منع کنید، میتواند بسیار خطرناک باشد، برخی موقعیت ها وجود دارد که در آن فایل robots.txt میتواند بسیار مفید باشد. اگر یک عامل کاربر از /robots.txt بازدید کند و فایل رباتی را در آنجا پیدا نکند، فرض می‌کند که سایت فایلی ندارد و به خزیدن همه چیز در صفحه (و شاید حتی در کل سایت) ادامه می‌دهد. هنگامی که صفحه به‌روزرسانی شد، می‌توانید روی منوی کشویی بالای ویرایشگر متن نیز کلیک کنید تا مُهر زمانی نمایش داده شود که نشان‌دهنده زمانی است که گوگل برای اولین‌بار آخرین نسخه فایل robots.txt شما را دیده است. 6- با بازخوانی صفحه در مرورگر خود برای به‌روزرسانی ویرایشگر ابزار و مشاهده آنلاین کد فایل robots.txt، بررسی کنید که آخرین نسخه شما با موفقیت خزیده شده است. استفاده از این مدل دستور در فایل robots.txt به خزنده‌های وب می‌گوید که تمام صفحات از جمله صفحه اصلی را بخزند.
افزایش سرعت وردپرس از مهم ترین خدمات سئو یاس وب
پس از آپلود فایل robots.txt در ریشه سرور، بررسی کنید که آیا برای عموم قابل دسترسی است یا خیر و آیا گوگل میتواند آن را بررسی کند. نکته مهمی که باید به آن توجه داشت این است که همه زیر دامنه ها به فایل robots.txt خود نیاز دارند. به عنوان مثال، دامنه فایل مخصوص به خود را دارد، همه زیر دامنه های Cloudflare (blog.cloudflare.com، community.cloudflare.com و غیره) نیز به فایل خود نیاز دارند. همانطور که مشاهده نمودید، این مقادیر، جلوی دسترسی به سایت را برای موتورهای جستجو میگیرد. هر یک از ساب دامین های وب سایت بایستی دارای فایل robots.txt مختص به خود باشند. به عبارت دیگر blog.example.com و example.com بایستی هر یک دارای فایل robots.txt مجزایی در مسیر خود باشند.
اگر فایل robots.txt به درستی تهیه و آپلود نشود چه می‌شود؟
برای خزیدن در سایت‌ها، موتورهای جستجو پیوندها را دنبال می‌کنند تا از یک سایت به سایت دیگر بروند، در نهایت، در میان میلیاردها لینک و وب‌سایت خزیده می‌شوند. این رفتار خزیدن گاهی اوقات به‌عنوان “عنکبوت” شناخته می‌شود. فایل‌های Robots.txt (فایل روبوتس) بیشتر برای مدیریت فعالیت‌های ربات‌های خوب مانند خزنده‌های وب در نظر گرفته شده‌اند، زیرا ربات‌های بد احتمالاً دستورالعمل‌ها را دنبال نمی‌کنند.
دستور Allow به شما امکان می‌دهد تا به ربات گوگل بگویید که اجازه مشاهده یک فایل، در فولدری که Disallowed شده را دارد. از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید. همانطور که گفته شد با استفاده از این فایل و دو دستور بالا، می توانید به ربات های گوگل بگویید که صفحه مورد نظر شما را ایندکس کنند و یا ایندکس نکنند.