بروزرسانی: 27 خرداد 1404
فایل robots txt چیست؟ بهینه سازی فایل ربات در وردپرس
با این فایل شما می توانید محتواهایی که نمی خواهید توسط موتورهای جستجو بررسی و در نتایج جستجوها نشان داده نشود را مشخص کنید. اگر فایل robots.txt در وب سایت شما وجود ندارد، نگران نباشید. تنها با استفاده از دستورات ذکر شده می توانید یک فایل robots.txt در سایت ایجاد نموده و پس از بارگذاری آن را از طریق ابزار robots.txt tester گوگل سرچ کنسول تست نمایید.
- و شما می توانید برای ویرایش و ایجاد آن از یک FTP یا با فایل منیجر کنترل پنل هاست خود اقدام کنید.
- به خاطر داشته باشید هر سایت نیازمند فایل robots.txt خاص خودش است.
- برای جلوگیری از چنین مشکلی ابتدا بایست صفحات مورد نظر را با استفاده از متا robots نوایندکس نمود و پس از خارج شدن آن صفحات از ایندکس گوگل، اقدام به بلاک نمودن آدرس ها کرد.
در این ویرایشگر صفحه ای را باز کنید و یک برگه خالی را با نام robots.txt ذخیره کنید؛ سپس وارد cPanel شوید و بعد public_html را برای دسترسی به دایرکتوری روت سایت، باز کنید. فایل Robots.txt یک فایل متنی کاملا ساده است؛ همانطور که از نام این فایل پیداست، فرمت .txt دارد و در دایرکتوری سایتتان قرار خواهد داشت. شما با کمک این فایل می توانید به ربات های گوگل و کراولر ها دستورات دلخواه خود را بدهید.
الگوریتم موبایل فرست چیست؟ دلیل اهمیت Mobile First در گوگل
یعنی کراولر صفحه ی شما را کراول و شناسایی می کند اما نمی تواند و حق ندارد محتوای شما را در نتایج نشان دهد. این مورد برای صفحات محرمانه با دسترسی عمومی بسیار مناسب است. برای صفحاتی محرمانه ای که نباید به صورت عمومی نمایش داده شوند ایجاد پسورد و یا شناسایی IP پیشنهاد می شود. در چند مورد نادر که در یک صفحه همزمان از تگ های نوفالو و ربات دیس آلو استفده می شود ممکن است مشکلاتی به وجود بیاید.
کی باید در فایل robots.txt تغییرات بدیم؟
این اقدام تنها بایست در ابتدای ساخت وب سایت انجام شده و در آینده در هنگام بررسی سئو سایت مورد توجه قرار گیرد. به عنوان مثال گوگل از Googlebot برای جستجوی ارگانیک استفاده می نماید. همچنین از Googlebot-Image برای جستجوی تصاویر وب سایت ها بهره می برد. اغلب user agent ها از یک موتور جستجو، از همان دستورالعمل کلی برای یکی از user agent ها استفاده کرده و نیازی به تعریف دستورات متنوع برای هر یک نیست.
نحوه تشخیص فونت سایت (۳ روش ساده)
اینکه از افزونه سازنده فایل ربات استفاده کنید تا آن را برای شما نصب و راه اندازی کند. امیدواریم موتورهای جستجو و ربات هایشان شنوای صحبت های شما باشند. بنابراین توصیه هایمان در مورد فایل ربات را پایان میدهیم و سراغ پرسش های بعدی می رویم. در واقع یا ربات را از یک آدرس دور نگه می دارید و از آدرس محافظت می کنید، یا اینکه به ربات موتور جستجو اعلام می کنید به کدام بخش ها سر بزند و کدام بخش ها را بیشتر مورد بررسی قرار دهد.
درنهایت خزنده ها بین میلیاردها لینک و وب سایت می خزند و اطلاعات را جمع آوری می کنند. فایل روبوتکست، یک فایل و یک پل ارتباطی بین ربات های گوگل و وب سایت ما است، با استفاده از دستورالعمل هایی که در فایل ربات می نویسیم به ربات های گوگل می فهمانیم که به کدام قسمت سایت ما بخزند و کدام مناطق ممنوعه است. دقت کنید که استفاده غلط و نادرست از فایل robots.txt ممکن است باعث ضررو زیان به سئو سایتتان شود پس قبل از انجام هرگونه تغییرات در فایلتان بهتر است با مشاور سئو صحبت کنید و از او راهنمایی بگیرید. هم چنین از انجام به روز رسانی های مداوم این فایل خودداری کنید. شاید به روز رسانی های مداوم فایل ربوتس دات تی ایکس تی برای سایت به ظاهر تاثیری نداشته باشد اما در نهایت منجر به پیچیده و سخت شدن دسترسی ربات موتورهای جستجو به سایت می شود.
سپس می توانید این فایل را در public_html سایت خود پیدا کنید. این فایل حجم سنگینی ندارد و در اکثر مواقع نهایتاً چند صد بایت خواهد بود. © ۱۴۰۱ تمامی حقوق مادی و معنوی این وبسایت متعلق به گروه دیجیتال نردبانمی باشد و هر گونه کپی برداری پیگرد قانونی دارد. ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی می نویسم. بدین ترتیب تمامی صفحات موجود در وبلاگ از دسترس ربات بایدو خارج خواهد شد.