بروزرسانی: 29 خرداد 1404
فایل robots txt چیست؟ 5 تاکتیک سئو برای فایل robots.txt
با این فایل به راحتی می توانید با ایجاد محدودیت بخش های خاصی از سایت خود را از لحاظ دسترسی مسدود کنید. اگر وبسایت خود را به ابزار سرچ کنسول گوگل متصل کرده باشید، وقتی این ابزار تست را باز کنید از شما می خواهد که سایت متصل شده مورد نظر را انتخاب کنید. فرقی نمی کند میزبان وبسایت شما یک سرور اختصاصی، اشتراکی یا مجازی است، فقط کافی است این فایل را در پوشه یا همان دایرکتوری اصلی سایت بارگذاری کنید. همانطور که می بینید دیجیکالا دستور سایت مپ را در فایل robots.txt خود قرار داده است.
- پس ربات ها نه تنها ضرری برای سایت شما ندارند، بلکه باید خیلی هم از آنها استقبال کرد.
- درصورتی که شما اقدام به ایجاد یک فایل حقیقی به نام robots.txt در ریشه هاست سایت خودتان کنید، فایل ربات مجازی به صورت خودکار از کار می افتد و فایل حقیقی آپلود شده توسط شما جایگزین آن خواهد شد.
- Robots.txt فایلی است که به ربات های موتورهای جستجو می گوید که چه صفحات یا بخش های خاصی از یک وب سایت را بررسی نکنند و مجاز به بررسی چه صفحاتی هستند.
- مثلاً می توانید بررسی کنید آیا ربات مخصوص تصاویر گوگل به یک صفحه خاص دسترسی دارد یا نه.
- اما اگر تعداد صفحات فراتر از حد انتظار بود (به URL صفحاتی که فهرست بندی شده اند که شما نمی خواهید توجه نمایید) زمان آن است که از Robots.txt استفاده نمایید.
مدیریت منابع مصرفی سرور توسط ربات ها امری مهم است زیرا به جز ربات های موتورهای جستجو، ربات های بد دیگری وجود دارند که به دستورات موجود در فایل robots.txt توجه نمی کنند. استفاده از شبکه توزیع محتوا CDN یک راه مقابله با ربات های بد و مدیریت مصرف منابع سرور است. فایل Robots.txt فایلی برای گزارش ساختار صفحات وب به ربات های کراولر است تا بدانند کدام صفحات باید در موتورهای جستجو نمایش داده شوند و کدام صفحات نمایش داده نشوند. این فایل کاملا قایل دسترسی است و می توانید اطلاعات داخل آن را بخوانید و یا ویرایش کنید و افراد مختلف نیز صرفا با اضافه کردن این پسوند به لینک وبسایت شما می توانند آن را ببینند.
نحوه تشخیص فونت سایت (۳ روش ساده)
حالا که تا حدودی متوجه شدیم که کلیت این فایل چیست، بد نیست که نگاهی به نقش های فایل robots.txt و دلایل اهمیت آن بپردازیم و دقیقا مشخص کنیم که چرا سایت مان باید حاوی فایل robots.txt باشد. فایل Robots.txt دسترسی خزنده ها به بخش های مختلف سایت شما را کنترل می کنند. درنتیجه اگر شما به صورت تصادفی Googlebot را از خزیدن در سایت خود منع کنید ممکن است برای سئو و رتبه بندی سایت شما خیلی خطرناک باشد.
۳- مشخص کردن بخش های مجاز برای ربات ها با Allow
اگر شما هم به تازگی یک وب سایت راه اندازی کرده اید و یا به دنبال آن هستید که سئوی سایت خود را خیلی سریع ارتقا دهید؛ این مقاله مخصوص شماست. مشکل احتمالا از هاست و دسترسی فایل هستش که اجازه ساختن رو نمیده. شما میتونید فایل رو طبق روش آموزش در ویندوزتون بسازید و آپلودش کنید. پس از ساخته شدن فایل ربات با افزونه Yoast میتوانید دستورات خود را در افزونه قرار دهید و آن را ذخیره کنید. اگر میخواهید فهرست کاملی از ربات موتورهای جستجو را ببینید، به این آدرس بروید. از نظر گوگل هم اساسا یکی از فاکتورهای مهم سئو داشتن فایل ربات است.
پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می توانید به راحتی سئو سایت خود را بالا ببرید. این کار سبب می شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب مستر حرفه ای آن را کنترل کنید. من مشکلی برام پیش اومده من زمانی داخل روبوتس دات تی اکس تی دسترسی ربات های گوگل رو به سایت بسته بودم. الان به حالت دیفالت برگردوندم و دسترسی همه بازه اما همچنان گوگل سرچ کنسول به من اخطار میده که ربات ها توسط روبوتس دات تی اکس تی بلاک شدن و صفحات کراول نمیشن.
گوگل که به خوبی از این موضوع آگاه است، برای اینکه به تجربه کاربری سایت ها کمترین لطمه را وارد کند برای هر سایت یک بودجه خزش مشخص در نظر می گیرد و با توجه به فاکتورهای مختلفی این بودجه را کم یا زیاد می کند. نقشه های سایت، ربات های خزنده را مجبور نمی کنند تا صفحات وب را متفاوت اولویت بندی کنند. پروتکل نقشه سایت به ربات ها کمک می کند تا بدانند چه چیزی را در خزیدن خود در یک وب سایت قرار دهند. برخی از عوامل کاربر (ربات ها) ممکن است فایل robots.txt شما را نادیده بگیرند.
گوگل به صورت رسمی اعلام کرده است که برخی از دستورات قرار داده شده در Robots.txt از تاریخ 1 سپتامبر 2019 به بعد کارایی ندارند و باید از دستورات جایگزین برای آن ها استفاده کرد. گوگل به صورت رسمی همچنان فایل Robots.txt مورد پشتیبانی قرار می دهد، اما برخی از دستورات این فایل را دیگر پشتیبانی نکرده و آن ها را نادیده می گیرد. با استفاده از این کد شما به ربات ها اعلام می کنید که اجازه دسترسی به این فایل و بررسی آن را ندارند. با استفاده از این کد شما به ربات ها اعلام می کنید که همه صفحات و محتوای سایت را مجاز به بررسی هستند.