تمایلی به دسترسی ربات‌ها به صفحات برچسب و نویسندگان سایت ندارید. اگر تا الان روی سئوی سایتت کاری نکردی، بهتره که از همین امروز شروع کنی. تمامی حقوق مادی و معنوی این وب سایت متعلق به پونه مدیا می باشد.
- در مرحله دوم، بعد از اینکه مشخص کردیم دقیقا با چه رباتی طرف هستیم، حالا باید مشخص کنیم که محدودیت‌های این ربات چیست و چه صفحات و منابعی از وبسایت شما را نباید بررسی کند.
- این فایل حجم سنگینی ندارد و در اکثر مواقع نهایتاً چند صد بایت خواهد بود.
- در نهایت کار روی سرچ و کلمات کلیدی رو با توجه به نکاتی که گفتیم همه روزه برای صفحات مختلف سایتتون تکرار بکنید.
- حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید.
بعد با allow , disallow می گویی که به چی دسترسی داشته باشی و به چی دسترسی نداشته باشی. یکی از ابزارهای مختلف که به شما در بررسی صحت فایل robots.txt کمک میکند استفاده از ابزار تست robots.txt گوگل است. لازم به ذکر است که این مورد برای سایت های کم بازدید، تاثیر کمتری دارد.
تغییرات اعمال شده توسط شما در فایل Robots.txt امکان آسیب جدی به سئو سایت شما دارد. پس لازم است اطلاعات موجود در این مقاله را دقیقا مطالعه کنید و با آگاهی کامل نسبت به اعمال تغییرات در این فایل اقدام کنید. در این بین فایل های متنی هم با فرمت های مختلفی قابل دسترسی اند.
حذف مطالب قدیمی و بی‌کیفیت و تاثیر آن بر افزایش ترافیک سایت
بنابراین بار دیگر سراغ فایل روبوتس سایت رفته و با کمک کدهایی که درون آن مینویسیم، این صفحات را هم از دید ربات موتور جستجو پنهان میکنیم. اصولا زمانی که وب سایت خودمان را طراحی کرده باشیم، به کمک فایل robots کل وب سایت را از دید موتور جستجو پنهان میکنیم. دلیل این موضوع چیست؟ دلیل این است که در ابتدای ساخت سایت، قالب های وردپرسی اغلب یک سری صفحات آماده را روی وب سایتمان بارگذاری میکنند. مثلا قالب flatsome وردپرس که یک قالب معروف است، در زمان طراحی در حدود 30 محصول، 30 برگه و چند مقاله غیر مرتبط و به زبان انگلیسی را به سایت شما اضافه میکند. فایل robots.txt سایت یک راهکار برای برقراری ارتباط با ربات های موتور جستجو است.
از فایل txt به منظور جلوگیری از دسترسی به اطلاعات حساس استفاده نکنید. اگر به هر نحوی تمایل دارید که یک صفحه یا دایرکتوری خود را از فهرست نتایج جستجو حذف یا مسدود کنید می توانید از تکنیک های دیگری از قبیل رمزگذاری یا تکنیک های مرتبط با noindex استفاده کنید. آدرس صفحات سایت خود را آنالیز کرده تا متوجه شوید کدام یک از آنها برای ربات‌ها مسدود شده هستند. به این معنی است که تمام بخش‌های این سایت قابل دسترس برای تمام ربات‌ها و خزندگان موتورهای جستجو است. اما اگر قصد این را دارید که اطلاعات خود را فقط برای یک ربات خاص تعیین کنید باید نام دقیق آن ربات را به جای ستاره جایگذاری کنید. در هنگام طراحی سایت، مطمئن شوید که از این فایل در هیچکدام از URL هایی که می خواهید توسط گوگل ایندکس شوند و نتایج آنها نمایش داده شوند، استفاده نکرده اید.
کی باید در فایل robots.txt تغییرات بدیم؟
در اوایل مقاله با انواع ربات‌ها و خزنده‌های سطح وب آشنا شدیم، حتی به صورت دقیق‌تر اسامی و وظیفه مهم‌ترین ربات‌های گوگل را هم بررسی کردیم. حالا به کمک دستور User-agent می‌توانیم مشخص کنیم که دستورات ما دقیقا توسط چه رباتی باید اجرا شوند. همانطور که گفتیم فایل ربات سایت یک استاندارد همگانی برای مشخص کردن محدودیت‌های خزیدن ربات‌های مختلف در سطح وب است، بنابراین انتظار می‌رود که از دستورات استاندارد و همگانی هم برای این فایل استفاده کنیم. شرکت‌های مختلف با اهداف متفاوتی اقدام به ساخت و استفاده از این ربات‌ها میکنند. در این حالت، برای جلوگیری از نمایش صفحاتی که علاقه‌ای به نمایش آنها در نتایج گوگل نداریم از فایل robots.txt کمک می‌گیریم و آدرس این گونه صفحات را از دسترس خزنده‌های گوگل خارج میکنیم.
اگر آدرس صفحات قدیمی رو دارید یک بار همه رو به آدرس جدید ریدایرکت کنید. این فایل را فقط یکبار باید آماده کنید و دیگر کاری با آن نخواهید داشت مگر این که تغییرات مهمی در ساختار سایت ایجاد کنید. راحت‌ترین راه حذف کردن صفحه‌ای از نتایج جستجو استفاده از دستورهای به اصطلاح متا تگ در قسمت هد صفحه است. کافی است به انتهای آدرس هر سایتی robots.txt/ اضافه کنید و آن را باز کنید.
شما به کمک این فایل که در هاست سایتتان قرار گرفته و البته متنی که درون آن نوشته شده، میتوانید به ربات های خزنده موتور جستجو فرمان بدهید. همانطور که میدانید در یک سایت صفحات بی شماری وجود دارد که لزوما همه این صفحات برای ما ارزشمند نیستند. ربات های گوگل نیز بطور پیشرفض وظیفه دارند تمامی صفحات سایت را بررسی کنند.
به بیانی ساده فایل robots.txt اجازه بررسی سایت و صفحات را به ربات های موتورهای جستجو می دهد. با تایپ دستوراتی در این فایل متنی از دسترسی همه یا تعدادی از ربات های موتورهای جستجو برای بازدید و ایندکس سایت جلوگیری می گردد و یا با مشخص نمودن بخش های غیرضروری سایت، از لیست ایندکس توسط ربات ها خارج می شوند. اگر در فایل Robots دستور دهید که ربات‌های گوگل اجازه دسترسی به صفحاتی را ندارند، این صفحات کلاً بررسی نمی‌شوند اما هیچ تضمینی وجود ندراد که این صفحه در نتایج جستجوی گوگل ظاهر نشود. امکان دارد ربات‌ها از طریق لینک‌هایی که به همان صفحه داده شده‌اند و کمک گرفتن از همان انکر تکست لینک، صفحه را ایندکس کنند. در حال حاضر بهترین راه برای حذف صفحه‌ای از نتایج جستجو، اضافه کردن دستور noindex در قسمت head صفحه‌ها است. اگر از وردپرس استفاده می‌کنید افزونه‌هایی برای این کار وجود دارد و در غیر اینصورت باید از طراحی وبسایت خود بخواهید که امکاناتی برای افزودن این کد‌ها یا دستورات در قسمت هد هر صفحه فراهم کند.