بروزرسانی: 19 تیر 1404
robot txt چیست؟ بررسی کاربرد فایل متنی robot.txt در سئو
اگر نسبت به این موضوع هیچ اطلاعاتی ندارید ویا علاقه مند آشنایی و درک بهتر موضوع فوق العاده مهم بودجه خزش هستید حتما مقاله “بودجه خزش سایت چیست” را با دقت مطالعه کنید. البته بهتر است برای اطمینان بیشتر و جلوگیری صددرصد از ایندکس اینگونه صفحات از تگ noindex هم استفاده کنیم که در جلوتر به صورت مفصل به آن خواهیم پرداخت. علاوه بر این ها، حجم زیادی از ترافیک و منابع هاست و سرور ما هم صرف پاسخگویی به ربات ها می شود که بسیاری از این درخواست ها بدون سود و تنها مضر هستند و الکی منابع سایت ما را هدر می دهند.
- با استفاده از گوگل وبمستر یا همان کنسول جستجوی گوگل شما می توانید بررسی کنید که چه تعداد و چه صفحاتی از سایتتان فهرست بندی شده اند.
- در زمینه کلمات کلیدی حتما این نکته رو هم در نظر داشته باشین که هیچ وقت نمیشه تو کلمات کلیدی که رقابت شدیدی توشون وجود داره به سادگی اومد توی صفحات اولیه گوگل.
- (همچنین، اگر از پلاگین های وردپرس برای ریدایرکت یا کاستومایز پرمالینک ها استفاده کرده باشید، ممکنه اشکال از این پلاگین ها باشه و با غیر فعال کردنشون ممکنه که این مشکل برطرف بشه).
- و با یک ویرایشگر متن ساده مثل Notepad یا TextEdit آن را ویرایش کنید.
- بنابراین، robots.txt یک ابزار ضروری برای کنترل نمایه سازی صفحات شما است.
اگر نیاز به مشاوره و رفع مشکلات سایت وردپرسی خود داشتید می توانید با کارشناسان یاس وب تماس گرفته و از خدمات سئو و بهینه سازی و خدمات پشتیبانی سایت استفاده کنید. تیم ما تمامی موارد و مشکلات سایت شما را بررسی کرده و راه حل هایی در جهت پیشرفت سئو و توسعه سایت شما ارائه خواهد داد. مثلاً می توانید بررسی کنید آیا ربات مخصوص تصاویر گوگل به یک صفحه خاص دسترسی دارد یا نه. امکان به همان صفحه اجازه دسترسی ربات وب را داده باشید اما ربات تصاویر مجاز به دریافت تصاویر و نمایش آن در نتایج جستجو نباشد. بعد از ایجاد و یا انجام اصلاحات در فایل ربات، باید از صحت تغییرات خود مطمئن شوید. بهترین روش برای اینکار استفاده از ابزار تست فایل robots.txt گوگل سرچ کنسول است.
آیا واقعا به فایل Robots.txt نیاز است؟
پس بنده باید داخل فایل منیجر هاستم دنبال آدرس وبم باشم و فایل رو داخل اون پوشه آپلود کنم ولی به گفته ی شما باید این فایل تکست داخل روت هاست آپلود شه. دستور” / ” بعداز Disallow به ربات گوگل می گوید باید وارد پوشه ای در ریشه فایل شوید. موارد خاصی نیز وجود دارد که نمی خواهید هیچ بودجه خزشی را برای بازدید گوگل در صفحاتی با تگ noindex هدر دهید.
آیا واقعا به فایل robots.txt نیاز داریم؟
از فایل txt به منظور جلوگیری از دسترسی به اطلاعات حساس استفاده نکنید. اگر به هر نحوی تمایل دارید که یک صفحه یا دایرکتوری خود را از فهرست نتایج جستجو حذف یا مسدود کنید می توانید از تکنیک های دیگری از قبیل رمزگذاری یا تکنیک های مرتبط با noindex استفاده کنید. این ابزار نمی تواند به صورت مستقیم فایل robots.txt را ویرایش کند.
۲ـ مشخص کردن صفحات و بخش های غیرمجاز با Disallow
آدرس صفحات سایت خود را آنالیز کرده تا متوجه شوید کدام یک از آن ها برای ربات ها مسدود شده هستند. به این معنی است که تمام بخش های این سایت قابل دسترس برای تمام ربات ها و خزندگان موتورهای جستجو است. اما اگر قصد این را دارید که اطلاعات خود را فقط برای یک ربات خاص تعیین کنید باید نام دقیق آن ربات را به جای ستاره جایگذاری کنید. این دستور برای مشخص کردن ربات ها و خرندگانی است که امکان دسترسی به بخش های سایت را داشته باشند یا خیر. با این دستورالعمل می توان به تمام ربات ها دسترسی داد و یا با اضافه کردن نام رباتی خاص، فقط به آن ربات دسترسی های مختلف را داد یا محدود کرد.
اگر برای ایندکس کردن تمام صفحات خود با مشکل مواجه هستید، ممکن است با مشکل بودجه crawl مواجه شوید. با مسدود کردن صفحات بی اهمیت با robots.txt، گوگل بات می تواند بیشتر بودجه خزشِ شما را صرف صفحاتی کند که واقعاً مهم هستند. به طور کلی، دو نوع دستور برای این فایل ها داریم؛ اولین دستور برای محدود کردن موتور های جستجو از کراول کردن است و دومین دستور هم برای اجازه دادن به موتور های جستجو برای کراول کردن خواهد بود. در مثال زیر تمامی ربات ها از دسترسی به دایرکتوری media منع شده اند اما در عین حال اجازه دسترسی به یک فایل پی دی اف با عنوان terms-and-conditions.pdf موجود در دایرکتوری media داده شده است. تغییرات اعمال شده توسط شما در فایل Robots.txt امکان آسیب جدی به سئو سایت شما دارد. پس لازم است اطلاعات موجود در این مقاله را دقیقا مطالعه کنید و با آگاهی کامل نسبت به اعمال تغییرات در این فایل اقدام کنید.
این موضوع این امکان را در اختیار شما قرار خواهد داد که به کنترل تگ های خود بپردازید. در این بخش متوجه خواهید شد آیا گوگل قصد دارد صفحه ای را با محتوای جاسازی شده فهرست کند یا خیر. از طرفی این موضوع به گوگل اجازه خواهد دهد تا محتوای یک صفحه را در صورتی که در صفحه دیگری از طریق iframe یا تگ های HTML مشابه بارگزاری شده باشد را علی رغم دستور noindex، فهرست بندی کند.