بروزرسانی: 27 خرداد 1404
فایل robots txt و تاثیر آن بر سئو وب سایت ادمین سایت
در حقیقت وظیفه این فایل معرفی بخش های قابل دسترسی و بخش های محدود شده برای دسترسی ربات ها می باشد. به صورت تعریفی دقیق تر، این فایل راهنمای خزندگان سطح وب که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایت ها ایجاد شده اند، می باشد. برای مشاهده و ویرایش فایل ربات در وردپرس یا هر سایت دیگری به فایل منیجر در پنل هاست مراجعه کنید و درون فولدر public_html بدنبال فایل robots.txt بگردید. خوب است بدانید که بصورت پیش فرض این فایل وجود ندارد و برای ویرایش محتوای آن باید یک فایل متنی بصورت robots.txt ایجاد کنید و دستورات لازم را در آن قرار دهید. نقشه سایت یا سایت مپ یک فایل با پسوند XML است که تمام محتواهای مهم روی یک سایت را فهرست می کند و نحوه ارتباط صفحات مختلف را نمایش می دهد. دستور sitemap که در ادامه این دستور آدرس نقشه سایت می آید یک روش برای نشان دادن نقشه سایت به موتور جستجو است.
- برای ربات ها، عامل کاربر (از لحاظ نظری) به مدیران وب سایت کمک می کند تا بدانند چه نوع ربات هایی در سایت خزیده اند.
- این دستورالعمل یک فرایند چند خطی است که به شما در کوتاهترین زمان ممکن آموزش می دهد چه دستوراتی را در فایل خود قرار دهید تا ربات های گوگل بتوانند به خوبی در سایت شما جستجو کنند.
- هرکدام از این ربات ها با توجه به شناختی که از سایت ما پیدا می کنند با نرخ مشخصی به نام “Crawl Budget” به سایت مان سر می زنند و تغییرات آن را بررسی می کنند.
- اگه بخواهید روی چندین کامپیوتر آن را اجرا کنید برای هر دستگاه باید یک لایسنس جداگانه تهیه نمایید.
علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می کند. دستور بالا به این معنی است که دستورات بعدی، برای همه ربات های جستجوگر یکسان عمل کند. اما اگر می خواهید تنها به یک ربات خاص مانند ربات گوگل دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته شود. این کد به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است. و شما می توانید برای ویرایش و ایجاد آن از یک FTP یا با فایل منیجر کنترل پنل هاست خود اقدام کنید. این فایل درست مثل هر فایل متنی معمولی است و شما می توانید آن را با یک ویرایشگر متن ساده مانند Notepad باز کنید.
در مطلب " ثبت سایت در سرچ کنسول " به شما آموزش های لازم را داده ایم. است که با کمک آن و درج دستورات تحت وب می توان کارهای مختلفی از جمله ایجاد دسترسی یا محدودسازی ربات موتورهای جستجو را انجام داد. توسط این فایل شما می توانید مشخص کنید که گوگل چه قسمت هایی از سایت شما را ایندکس کند و درواقع می توانید گوگل را کنترل کنید.
چرا وب سایت شما به فایل robots.txt نیاز دارد؟
طبق آموزش ها با استفاده از نرم افزار FTP به وردپرس متصل شوید. در صفحه بعد، یواست سئو، فایل Robot.txt قبلی را به شما نشان می دهد. و اگر تا به حال این فایل را نداشتید، در این مرحله robot.txt ایجاد می شود. معمولاً در ایران لینکدین را به عنوان محلی برای شناسایی و جذب نیرو انسانی برای سازمان ها می شناسند؛ اما صد البته می توان از این رسانه اجتماعی برای جذب ترافیک به وب سایت استفاده نمود. اشتباهات سئو بسیار رایج هستند، به ویژه اگر شما در این زمینه تازه کار باشید و یا کسب و کار خود را تازه راه انداخته باشید، ممکن است در دام این اشتباهات بیفتید. اما آیا شما با آنها آشنا هستید؟ در این مقاله به 8 اشتباه تخصصی و رایج در این زمینه اشاره می کنیم.
فایل robots.txt چیست و چه کاربردی در سئو و ایندکس شدن سایت دارد؟
ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می کنیم. فعال کردن گزینه Enable Custom Robotsافزونه All in One SEO فایل robots.txt موجود در سایت شما را در بخش Robots.txt Preview در پایین صفحه نشان می دهد. در این قسمت قوانین پیش فرض که توسط وردپرس اضافه شده است را نشان می دهد. شما می توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می کند. شما با اضافه کردن کلمه robots.txt به انتهای ادرس سایت خود می توانید فایل robots.txt کنونی را ملاحظه بفرمایید.
با لیست کردن برخی صفحات خاص و استفاده از Disallow در حقیقت شما به ربات های مخرب و هکرها می گویید که این صفحات سایت مهم هستند و نباید به آن ها دسترسی پیدا کنید و آن ها به راحتی این صفحات را پیدا می کنند. اما اگر مسیرها و دایرکتوری ها را دیس آلو کنید این ربات ها صرفا می توانند صفحه ی دایرکتوری را ببینند و امکان دیدن سایر صفحات و وب پیج ها وجود ندارد. توجه داشته باشید که حتما از یک صفحه ی 404 یا صفحات مشابه برای دایرکتوری هایی که قرار نیست ایندکس شوند اما وجود دارند استفاده کنید. فایل robots.txt فایلی جهت مشخص کردن دسترسی موتورهای جستجو به وب سایت است. 5 تاکتیک سئو برای کاهش ریسک این فایل در این مقاله اموزشی سئو آمده است. همانطور که در تصویر بالا مشاهده می کنید، ما به ربات های موتور جستجو، اعلام کرده ایم که می تواند فایل های موجود در پوشه آپلود را می تواند ایندکس کند.