بروزرسانی: 27 خرداد 1404
فایل Robots txt چیست و چه تاثیری بر سئو دارد؟ مه ویژن
فایل ربات همانطور که عرض شد یک فایل متنی با نام robots.txt است و به سادگی میتوان آن را ساخت. این فایل متنی شامل رشته متن هایی موسوم به “دستور” است که به ربات موتورهای جستجو مثل گوگل و بینگ می گوید چطور با سایت رفتار کنند. بیشتر وب سایت ها مخصوصا سایت های وردپرسی یک فایل ربات robots.txt دارند ولی به این معنی نیست که مدیر سایت این فایل را می شناسد. در ادامه قصد داریم توضیحات مفصلی را درباره فایل Robot.txt به شما بدهیم و کاربرد های آن را بگوییم.
- برای این کار باید کد زیر را در یک فایل با فرمت txt قرار دهید.
- وقتی فایلی نداشته باشید ربات هم آزاد است به تمام بخش های سایت سر بزند.
- اگر یک نفر بخواهد به صفحاتی از وبسایت شما دسترسی پیدا کند که شما این صفحات را در فایل ربات بلاک کرده اید یقینا برای شناسایی این صفحات می تواند به راحتی از فایل ربات استفاده کند.
- به این نکته توجه داشته باشید که اگر آدرسی در این فایل برای ربات ها مسدود شود هیچ وقت سئو و ایندکس نمی شود.
- شناخته می شوند را مدیریت کرده و آدرس آن ها را مخفی کنید تا کاربران به نوعی مجبور به کلیک روی آن ها شوند.
تجربه شما در استفاده و تنظیم این فایل چگونه است؟ آیا robots.txt سایت خود را بررسی کرده اید؟ چه مشکلاتی داشته اید؟ سوالات و نظرات خود را برای ما بنویسید. اگر تا الان روی سئوی سایتت کاری نکردی، بهتره که از همین امروز شروع کنی. در صورتی که سایت شما دارای ساب دامین است لازم است هریک از این ساب دامین ها دارای فایل robots.txt مختص خود باشند. بعنوان مثال nardebangroup.com فایل خودش را دارد و my.nardebangroup.com هم فایل robots.txt جدا دارد.
آیا واقعا به فایل robots.txt نیاز داریم؟
این فایل متنی برای سئو و بهینه سازی سایت استفاده می شود و حاوی دستوراتی برای ربات های نمایه ساز موتورهای جستجو است که صفحاتی را مشخص می کند که هم امکان ایندکس شدن دارند و هم ندارند. اگر شما اعتقاد دارید در بودجه خزش سایت شما اشکالاتی وجود دارد پس بلاک کردن موتورهای جستجو از بررسی قسمت های کم اهمیت سایت، از هدر رفت بودجه خزش جلوگیری می کند. با بهینه سازی فایل ربات موتورهای جستجو از جمله گوگل می توانند از بررسی صفحات کم اهمیت صرف نظر کرده و به بررسی صفحات مهمتر سایت بپردازند. فایل Robots.txt یک فایل متنی است که مدیران وب سایت ها برای آموزش به ربات های موتورهای جستجو ایجاد می کنند.
مثال هایی از فایل robots.txt
همان Notepad ساده ویندوز یا هر ویرایشگر متن دیگر که فایل خروجی از نوع TXT می دهد قابل استفاده است. در بخش بعد توضیح می دهیم که چطور یک فایل Robots.txt بسازیم، آن را در جای درستش قرار دهیم و تست کنیم تا ربات های گوگل به آن دسترسی داشته باشند. امکان دارد هر کدام از ربات ها دستورات را به شکل متفاوتی درک کند. یعنی امکان دارد دو ربات متعلق به یک موتور جستجو یا هر سرویسی، یکی از دستورات پیروی کند و دیگری پیروی نکند. هدر دادن منابع سرور برای این صفحات، باعث از بین رفتن Crawl Budget شما می شود. به این ترتیب صفحات ارزشمند و مهمی که واقعاً نیاز به ایندکس شدن دارند خیلی دیرتر به نتایج جستجو راه پیدا می کنند.
حالا که با مهم ترین دستورات مورد نیاز در فایل robots آشنا شدید، بد نیست نکاتی را یادآور شویم که خیلی از وبمستران به اشتباه انجام می دهند و همین اشتباهات کوچک اتفاقات خیلی بدی را در سئو سایت آن ها رقم می زند. شرکت های مختلف با اهداف متفاوتی اقدام به ساخت و استفاده از این ربات ها می کنند. همانطور که متوجه شدید، اگر فایل رباتی در کار نباشد، خزنده های موتور جستجو گوگل سرشان را می اندازند پایین و هرچیزی که جلو دستشان برسد را بررسی می کنند. Robots.txt تنها برای خزیدن بهتر ربات های گوگل و دریافت نتایج بهینه تر استفاده شده و تأثیر آن در بهبود سئوی سایت است. گوگل اعلام کرده است یک تگ روبات جدید در آینده پیش روی شما قرار خواهد گرفت که این تگ یرچسب indexifembedded نام دارد.
امیدواریم این نگاه حرفه ای به رقابتی سالم دامن بزند که در نهایت به پیشرفت وب فارسی منجر شود. در مثال بالا همه ربات های خزنده از دسترسی به تمامی آدرسهایی که دارای کاراکتر ؟ هستند منع شده اند. هر شخص و یا هر برنامه کامپیوتری فعال روی شبکه جهانی اینترنت دارای یک user-agent (یک نام اختصاص داده شده) است. برای کاربران واقعی user-agent شامل نوع مرورگر، و سیستم عامل است و حاوی اطلاعات شخصی نیست. این اطلاعات به وبسایت ها کمک می کند اطلاعات سازگار با سیستم کاربر را نمایش دهند.