بروزرسانی: 23 خرداد 1404
همه چیز در مورد فایل ربات سایت robots txt و بهینه سازی آن در وردپرس میموس
اما سایر ربات ها وقتی به این دستور می رسند هیچ توجهی به آن نمی کنند و بدون محدودیت محتوای فولدر mypic سایت شما را هم بررسی می کنند چرا که محدودیت شما تنها مربوط به ربات Googlebot-Image می شود و نه تمام ربات ها. بنابراین برای تهیه یک فایل robots.txt مناسب و عالی ما نیز باید با این دستورات و نحوه تفسیر آن ها توسط ربات ها آشنا باشیم. مهم تر از همه اینکه ربات های گوگل به خوبی با این استاندارد آشنا هستند و از دستورات آن هم پیروی می کنند. همانطور که تا اینجا متوجه شدید، برای حذف کامل یک فایل خاص مانند فایل های PDF یا تصاویر از نتایج گوگل، می توان به کمک محدودیت های فایل robot اینکار را به صورت کامل انجام داد.
- تجربه شما در استفاده و تنظیم این فایل چگونه است؟ آیا robots.txt سایت خود را بررسی کرده اید؟ چه مشکلاتی داشته اید؟ سوالات و نظرات خود را برای ما بنویسید.
- Robot یک برنامه کامپیوتری خودکار است که با وب سایت ها و برنامه ها تعامل دارد.
- شما می توانید سوالات و نظرات خود را از بخش دیدگاه ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می شویم آن را با دوستان خود در شبکه های اجتماعی به اشتراک بگذارید.
- اما اگر می خواهید تنها به یک ربات خاص مانند ربات گوگل دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته شود.
تقریبا همه سایت های دنیا دارای فایل ربات هستند چون این فایل برای سایت مهم تلقی می شود. و تاثیر مثبت بر روی الگوریتم Rank Brian گوگل داشته باشند (که خود نشانه پاس کردن استانداردهای امنیت در ربات افزایش ورودی گوگل است). این دستور به ربات گوگل می گوید علی رغم اینکه فولدر Photos از دسترس ربات ها خارج شده است، اجازه مشاهده و ایندکس فایل novin.jpg را دارد. دستور Disallow به ربات ها می گوید که چه فولدرهایی از وب سایت شما را نباید بررسی کنند. درواقع این دستور، بیانگر آدرس هایی است که می خواهید از ربات های جستجو پنهان بماند. یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد.
۲. مشخص کردن صفحات و بخش های غیرمجاز با Disallow
از این دستور می توان به دو شکل در فایل robots.txt استفاده کرد. مطمئناً شما هم می خواهید ربات گوگل Crawl Budget سایت تان را به بهترین شکل ممکن مصرف کند. به عبارت دیگر، ربات گوگل باید ارزشمندترین و مهم ترین صفحات شما را بهتر و بیشتر بررسی کند. Crawl Stats وجود دارد که دفعات بررسی صفحه های سایت به صورت روزانه را نمایش می دهد. در همین صفحه، حجم دانلود شده توسط ربات ها و همینطور زمان بارگذاری صفحه ها را می توانید ببینید. درست است که فایل robots.txt رتبه برتر را تضمین نمی کندف اما برای بهبود سئو مهم است.
فایل Robots.txt در کجای سایت قرار می گیرد؟
فایل robots.txt برای یافته شدن توسط پایشگرها بایست در مسیر ریشه سایت قرار داشته باشد. و دیگر فایل های مشابه را بلاک کنید، ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز می تواند باعث ایجاد خطا شده و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد. این موارد رو وقتی می شه پیدا کرد که توی سرچ کنسول خودشون رو نشون بدن. پس اول باید سایت ایندکس بشه بعد شما این پارامترها رو پیدا کنید و disallow کنید. من تا الان برای هیچ کدوم از سایت هام فایل ربات و اچ تی اکسس نساختم ولی همشون به صورت پیش فرض داشتند. به سایت خود برگردید و تمام این بهینه سازی ها را روی سایت خود انجام دهید.
اگر صفحات وبسایت خود را در فایل Robots.txt نوایندکس کنید، گوگل باز هم آن را در نتایج جستجو نمایش می دهد. گوگل به کمک انکرتکست هر لینک و سایر فاکتورها رتبه ای به این صفحه در جستجوهای مرتبط می دهد. معمولاً این نوع صفحات در نتایج جستجو بدون توضیحات متا ظاهر می شود چون گوگل محتوای صفحه و توضیحات متا را ذخیره نکرده است. هرچه تعداد صفحات وبسایت شما بیشتر باشد، ربات های موتور جستجو زمان بیشتری برای خزیدن و ایندکس کردن صفحات نیاز دارد. همین زمان طولانی، روی رتبه سایت تان در نتایج جستجو، تاثیر منفی خواهد گذاشت.