بروزرسانی: 23 خرداد 1404
سئوی robots txt ، مثالی بزرگ برای جستجوگرها دهاستینگ فایل روبات سئو
اگر نمی توانید به ریشه وب سایت خود دسترسی پیدا کنید، از یک روش مسدودسازی جایگزین مانند متا تگ ها استفاده کنید. به تصویر فوق دقت کنید، واقعاً حتی برای خود بنده هم جالب است. در این فایل طبق گفته خودشان هیچ چیز را بلاک نکرده اند و به جستجوگرها این اجازه را داده اند تا به همه چیز دسترسی داشته باشند. کارشاس یوآست می گوید، ما حتی دایرکتوری wp-admin را هم بلاک نمی کنیم.
- اگر هنوز هم این قابلیت در سرچ کنسول هست لطفا مسیر جدید رو معرفی کنید.
- البته من اطلاعی از روند انتقال سایت تون ندارم، در هر صورت واضحه که ریدایرکت 301 به خوبی اعمال نشده.
- ایندکس کردن محتوای سایت ها به طوری که بتوان آن ها را دسته بندی کرده و در نتایج جست وجوها نشان داد.
- در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند.
- پس از آن بهتر است از طریق سرچ کنسول نقشه سایتتان را به گوگل معرفی کنید؛ برای این کار باید سایتتان را در سرچ کنسول ثبت کرده باشید.
- با اینکار خزنده های موتور جستجو گوگل حتی اگر فایل robots.txt سایت شما را هم نادیده بگیرند چون در داخل صفحه صراحتا از ربات ها خواسته شده که این صفحه را ایندکس نکنند، به این درخواست احترام می گذارند.
با این حال امکان تطبیق الگو برای طیف وسیعی از URL ها وجود دارد. موتور جست وجوهای گوگل و بینگ هردو از یک الگوی منظم برای بررسی URL ها در این فایل استفاده می کنند. این کد در فایل Robots.txt به این معنی است که ربات ها به هیچ محتوایی که در پوشه ذکرشده قرار دارد، دسترسی ندارند. دقت داشته باشید که اگر هیچ ناحیه ای در سایت شما وجود ندارد که بخواهید دسترسی عامل کاربر به آن را کنترل کنید، ممکن است اصلاً به فایل robots.txt نیاز نداشته باشید. حتی اگر صفحه robots.txt مثلاً در webjavan.com/index/robots.txt یا /homepage/robots.txt وجود داشته باشد، توسط عوامل کاربر کشف نمی شود و در نتیجه سایت تحت درمان قرار می گیرد.
نیاز به مشاوره دارید؟
هنگامی که فایل robots.txt خود را دارید، وقت آن است که آن را زنده کنید. این قانون به Googlebot می گوید که پوشه تصویر وب سایت شما را ایندکس نکند. به عنوان یک فایل متنی، در واقع می توانید با استفاده از دفترچه یادداشت ویندوز یک فایل ایجاد کنید. در برخی شرایط، مشکلاتی برای یکی از صفحات شما پیش می آید که باید آن را برطرف کنید؛ قبل از برطرف کردن حتما باید دستور Disallow را در فایل Robot.txt اجرا کنید. همواره از عدم وجود خطا در فایل robots.txt خود اطمینان حاصل کنید.
محدود کردن ایندکس فایل های خاص
یکی از استانداردهای گوگل که در راهنمای موتور جستجوی این شرکت در یک فایل PDF در اختیار کاربران به صورت عمومی قرار گرفته، داشتن فایل ربات در سایت است. در واقع گوگل یکی از فاکتورهای رتبه بندی سایت را داشتن فایل ربات قلمداد می کند. در سرچ کنسول موتور جسجوی گوگل، مدیر سایت میتواند فایل ربات سایت خود را برای گوگل ارسال کند تا گوگل از آن استفاده کند. فایل ربات یک فایل متنی با ساختار txt ساده است، که دقیقا در ریشه root هاست سایت قرار گرفته و برای تمام موتورهای جستجو و کاربران بازدید کننده دارای دسترسی مجاز است.
مدیریت ربات ها برای راه اندازی یک وب سایت یا برنامه ضروری است، زیرا حتی فعالیت خوب ربات ها می تواند بر سرور مبدا بار اضافه وارد کند و سرعت وب را کند یا از بین ببرد. یک فایل robots.txt که به خوبی ساخته شده باشد، یک وب سایت را برای سئو بهینه نگه می دارد و فعالیت خوب ربات را تحت کنترل نگه می دارد. فایل robots.txt دستورالعمل هایی را برای ربات ها مشخص می کند.
به عنوان مثال فرض کنید شما به مناسبت های مختلف، جشنواره ای را در سایت خود برگزار می کنید و برای این جشنواره ها صفحاتی را ایجاد می کنید. ضرورتی ندارد که ربات های خزنده این صفحات را ایندکس کنند؛ چرا که پس از مدتی غیر فعال شده و از طرفی بار محتوایی زیادی نیز ندارند. به همین دلیل در فایل robots.txt، ذکر میکنیم که این صفحات ایندکس نشوند. همچنین به کمک این ابزار می توانید محتویات فایل robots.txt را تغییر بدهید.
فایل robots.txt در کجا بایستی قرار داشته باشد؟
در نهایت بعد از انجام تغییرات خود می توانید بر روی گزینه ذخیره تغییرات در robots.txt کلیک کنید تا تغییرات شما ذخیره شوند. فرض پیش فرض این است که یک User-agent می تواند هر صفحه یا دایرکتوری را که توسط قانون غیرمجاز مسدود نشده است بخزد. هر گروه با یک خط User-agent شروع می شود که هدف گروه ها را مشخص می کند. گوگل لیستی از الگوهای تطبیقی و مثال ها را در اینجا گرداوری کرده است. کارکتر $ نیز برای اشاره به پایان یافتن یک یو آر ال استفاده می شود. برای قرار دادن کامنت می توانید از کاراکتر # در ابتدای توضیحات استفاده نمایید.