بروزرسانی: 23 خرداد 1404
سئوی robots txt ، مثالی بزرگ برای جستجوگرها دهاستینگ فایل روبات سئو
اولین بخش، Crawl Rate Limit (حد نرخ خزیدن) است و دومی Crawl Demand. با مشخص کردن یک یا چند فیلتر مختلف، مقاله های جذاب و مناسب خودتان را پیدا کنید. گوگل بودجه خزیدن را به وضوح تعریف نمی کند، اما آنها می گویند هدف این است که اولویت بندی شود که چه چیزی باید خزیده شود، چه زمانی باید خزیده شود و چقدر دقیق خزیده شود. مواردی نیز وجود دارد که در آن شما نمی خواهید هیچ گونه بودجه ای را برای ورود به صفحه Google با برچسب noindex هدر دهید.
- درعین سادگی تعریف واقعی یک نرم افزارتبلیغاتی حرفه ای می باشد،نهایت استفاده رابردیم مخصوصاازپشتیبانی24ساعته که...
- می توانید در این فایل، خط های مختلفی به صورت دستورالعمل، تعریف کنید.
- بنابراین برای تهیه یک فایل robots.txt مناسب و عالی ما نیز باید با این دستورات و نحوه تفسیر آن ها توسط ربات ها آشنا باشیم.
- گوگل به صورت رسمی همچنان فایل Robots.txt مورد پشتیبانی قرار می دهد، اما برخی از دستورات این فایل را دیگر پشتیبانی نکرده و آن ها را نادیده می گیرد.
- همچنین، اگر تعداد زیادی صفحه دارید که می خواهید آن ها را مسدود کنید، گاهی اوقات به جای افزودن دستی یک برچسب noindex به هر صفحه، مسدود کردن کل بخش آن سایت با robots.txt آسان تر می باشد.
این فایل متنی برای سئو و بهینه سازی سایت استفاده می شود و حاوی دستوراتی برای ربات های نمایه ساز موتورهای جستجو است که صفحاتی را مشخص می کند که هم امکان ایندکس شدن دارند و هم ندارند. اگر شما اعتقاد دارید در بودجه خزش سایت شما اشکالاتی وجود دارد پس بلاک کردن موتورهای جستجو از بررسی قسمت های کم اهمیت سایت، از هدر رفت بودجه خزش جلوگیری می کند. با بهینه سازی فایل ربات موتورهای جستجو از جمله گوگل می توانند از بررسی صفحات کم اهمیت صرف نظر کرده و به بررسی صفحات مهمتر سایت بپردازند. فایل Robots.txt یک فایل متنی است که مدیران وب سایت ها برای آموزش به ربات های موتورهای جستجو ایجاد می کنند.
و صفحاتی را که تشخیص دهد که مهم نیستند، یا کپی از صفحات دیگر هستند را فهرست بندی نمی کند. همچنین در قسمت Errors و Warnings هم خطاها و هشدارها لازم به شما داده خواهد شد که باید به آن ها دقت کنید. در پنجره جدید باز شده، از منو کناری بر روی گزینه ویرایش robots.txt کلیک کنید.
چگونه فایل robots.txt را آپلود کنیم؟
در وبمستران گوگل حساب خود را ایجاد کنید و سایت را به آن متصل کنید. اگر قبلا حساب سرچ کنسول (همان وبمستر تولز قدیم) را ایجاد کرده اید، وارد پنل کاربری خود شوید. برای خطاب کردن ربات موتور جستجو باید نام آن را وارد کنید، پس نیازمند دانستن نام کامل و تعداد کامل ربات موتورهای جستجو هستید. به همین دلیل نیازمند تحقیق و بررسی هستید تا ببینید باید به کدام ربات اجازه دهید و کدام را از سایت محروم کنید. عملا فایل ربات از طرف مدیر سایت برای موتورهای جستجو تهیه و ارائه می شود. مدیر سایت در فایل ربات به موتورهای جستجو دستور میدهد تا سایت را ایندکس کنند یا اینکه با دستورات خود مجوز خزیدن به بخش های مختلف سایت را به ربات موتور جستجو می دهد.
چگونه یک فایل robots.txt ایجاد کنیم؟
حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. بعد از این که فایل را ساختید آن را باید در سرور میزبان سایت آپلود کنید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. با نگاه کردن به فایل های robots.txt دیگر سایت ها می توانید از آنها برای سایت خودتان الگو بگیرید. راه های دیگر جایگزین برای حذف صفحه از نتایج جستجئی گوگل را در ادامه معرفی می کنیم.
ربات ها به کوچک یا بزرگ بودن دستورات حساس هستند
اما نباید فراموش کنید که اگرچه می توان سایت مپ در داخل فایل ربات سایت به ربات های موتور جستجو گوگل معرفی کرد اما این روش بهترین روش معرفی سایت مپ به ربات های گوگل نیست. همانطور که گفتیم فایل ربات سایت یک استاندارد همگانی برای مشخص کردن محدودیت های خزیدن ربات های مختلف در سطح وب است، بنابراین انتظار می رود که از دستورات استاندارد و همگانی هم برای این فایل استفاده کنیم. به کمک فایل robots.txt می توانیم دقیقا مشخص کنیم که کدام یک از این ربات ها به کدام بخش های سایت اجازه دسترسی دارند و کدام یک باید دارای محدودیت هایی برای بررسی سایت مان باشند.
راحت ترین راه حذف کردن صفحه ای از نتایج جستجو استفاده از دستورهای به اصطلاح متا تگ در قسمت هد صفحه است. برای تست این که یک صفحه یا هر نوع فایلی توسط فایل Robots.txt بلاک شده، و همچنین اطمینان از این که خود فایل Robots در دسترس است، می توانید از ابزار تست کننده در سرچ کنسول گوگل استفاده کنید. کافی است به انتهای آدرس هر سایتی robots.txt/ اضافه کنید و آن را باز کنید. فایل robots.txt خود را پیدا کرده و آن را برای ویرایش باز کنید. دستور جدیدی که می خواهید را وارد کنید و بعد آن را ذخیره کنید. دستور / بعداز Disallow به ربات گوگل می گوید باید وارد پوشه ای در ریشه فایل شوی.