به عبارت دیگر blog.example.com و example.com بایستی هر یک دارای فایل robots.txt مجزایی در مسیر خود باشند. این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که می توانند تمام صفحات دامنه را پایش کنند. این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که هیچ صفحه ای در دامنه را پایش نکنند.
- گوگل بودجه خزیدن را به وضوح تعریف نمی کند، اما آنها می گویند هدف این است که اولویت بندی شود که چه چیزی باید خزیده شود، چه زمانی باید خزیده شود و چقدر دقیق خزیده شود.
- موتورهای جستجو معمولاً اطلاعات قرار داده شده در Robots.txt را برای چند روز در حافظه خود نگه می‌دارند.
- کدام دایرکتوری ها یا فایل هایی که User-agent نمی‌تواند به آنها دسترسی پیدا کند.
- اطلاعات بیشتر در مورد نحوه کار با افزونه یواست سئو را در مقاله آموزش افزونه یواست سئو مطالعه کنید.
درصورتی که شما اقدام به ایجاد یک فایل حقیقی به نام robots.txt در ریشه هاست سایت خودتان کنید، فایل ربات مجازی به صورت خودکار از کار می‌افتد و فایل حقیقی آپلود شده توسط شما جایگزین آن خواهد شد. همچنین برخی از دستورات انحصاری ربات‌های خاص هم برای بسیاری از ربات‌ها، ناشناخته و غیر قابل درک است و به همین خاطر ممکن است برخی ربات‌ها از این دستورات پیروی کنند و برخی دیگر به آنها توجهی نکنند. دقیقا همانطوری که حرف زدن به زبان چینی برای بسیاری از مردم جهان کاملا غیر قابل مفهوم و درک است.
دستور Crawl-delay
سلام وقتتون بخیربنده کلیه ی نرم افزار های سایت شما رو تهیه کردن و رضایت کامل دارم بینهایت سپاسگزارم.. خیلی کم پیش اومده که از سایت های ایرانی خرید کنم و راضی باشم.شما جز اون کسایی بودید که واقعا از کار باهاتون لذت بردم. سلام وقتتون بخیر بنده کلیه ی نرم افزار های سایت شما رو تهیه کردن و رضایت کامل دارم بینهایت سپاسگزارم.. من فکرمیکردم فقط در محصولات خارجی این ربات ها وجود داره که در اشتباه بودم..
چرا ربات های خزنده نباید برخی صفحات سایت ما را مشاهده کنند؟
در هر دامنه و زیر دامنه باید یک فایل txt جداگانه قرار بگیرد. تمامی حقوق مادی و معنوی این وبسایت متعلق به نوین می باشد و هر گونه کپی برداری پیگرد قانونی دارد. از رتبه ۲ هزار گوگل به ۵۰ هزار نزول پیدا کردیم و بهتر بگم عین ۱۰ هزار صفحه ما شد ارور ۴۰۴ که طراحان جدید گفتن بعد از مدتی از بین میرن که نرفت تکرار میکنم از بین نرفت و یا اگه رفت بالای ۶ ماه طول کشید.
شیوه‌های جایگزین در مسدود کردن دسترسی ربات‌ها
حدود3 ماهه که ازکاربرمجازی استفاده میکنم.ازنحوه کارکردبدون عیب وایرادنرم افزارتاپشتیبانی عالی که همیشه انلاینندو… برنامه بسیارعالی هستش وامکانات خیلی خوبی داره.اگه یسری اصول ارسال رعایت بشه،قطعارضایتبخش خواهدبودپشتیبانی… من چندساله باانواع رباتهاکلنجارمیرم وهیچکدام مثل شمابرام راندمان نداشته وازمحسنات تیمتون پشتیبانی،پیگیری وبهادادن به مشتریست..
به عنوان مثال فرض کنید شما به مناسبت های مختلف، جشنواره ای را در سایت خود برگزار می کنید و برای این جشنواره ها صفحاتی را ایجاد می کنید. ضرورتی ندارد که ربات های خزنده این صفحات را ایندکس کنند؛ چرا که پس از مدتی غیر فعال شده و از طرفی بار محتوایی زیادی نیز ندارند. به همین دلیل در فایل robots.txt، ذکر میکنیم که این صفحات ایندکس نشوند.
این دستور به ربات گوگل می‌گوید علی رغم اینکه فولدر Photos از دسترس ربات‌ها خارج شده است، اجازه مشاهده و ایندکس فایل novin.jpg را دارد. دستور Disallow به ربات‌ها می‌گوید که چه فولدرهایی از وبسایت شما را نباید بررسی کنند. درواقع این دستور، بیانگر آدرس‌هایی است که می‌خواهید از ربات‌های جستجو پنهان بماند.
چرا که اگر به طور همزمان استفاده شود گوگل در نتایج جستجو چنین پیغامی را نمایش می‌دهد که «توضیحی برای این صفحه در دسترس نیست» و در کارکرد کلی سایت شما تاثیر می‌گذارد. باید دقت داشته باشید که صفحات شما همزمان از این دو تگ و ربات استفاده نکنند تا صفحات به درستی به موتورهای جستجو معرفی شوند. در ادامه قصد داریم توضیحات مفصلی را درباره فایل Robot.txt به شما بدهیم و کاربرد های آن را بگوییم.