اما دستور htaccess که شما می فرمائید رو بنده نمیدونم به چه شیوه ای عمل میکنه اگه شما میتونید تو این زمینه فیلم یا آموزشی ارائه بدبد که تست کنم ممنون میشم . اگر وبسایت خود را به ابزار سرچ کنسول گوگل متصل کرده باشید، وقتی این ابزار تست را باز کنید از شما می‌خواهد که سایت متصل شده مورد نظر را انتخاب کنید. همانطور که می‌بینید دیجیکالا دستور سایت مپ را در فایل robots.txt خود قرار داده است.

• برای مثال فایل های موجود در فولدر wp-plugins یا پیج هایی که در ادمین وردپرس وجود دارند.
• معمولا موتورهای جستجو محتویات فایل robotx.txt را ذخیره می‌کنند تا به دانلود مجدد آن نیاز نداشته باشند، با این حال روزانه چندبار نسخه جدید فایل را بارگذاری می‌کنند.
• سلام برنامه بسیار کاربردی هست و من ازش برای اطلاع رسانی محصولات جدیدم به مشتری هام استفاده میکنم به امید موفقیت های بیشتر..
• یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد.
• چنین چیزی باعث میشود گوگل نتواند جریمه‌ای برای اعمال رباتیک در نظر بگیرد.
• برای کاربران انسانی، این شامل اطلاعاتی مانند نوع مرورگر و نسخه سیستم عامل است، اما اطلاعات شخصی ندارد.

زیرا کسب رتبه در کلمات کلیدی پُر رقابت تنها به ورودی گرفتن از گوگل وابسته نیست و به عواملی نظیر اعتبار دامنه، اعتبار صفحه، بک لینک‌ها و عوامل متعدد دیگر بستگی دارد. با این حال اگر سایت شما در یک کلمه کلیدی پر رقابت در صفحه سوم یا چهارم گوگل باشد استفاده از ربات شاید بتواند آنرا به صفحه دوم یا اول بیاورد اما نمیتواند آنرا به رتبه های نخست صفحۀ اول برساند. Robots.txt در واقع یک فایل واقعیست، در حالی که robots و x-robots جز داده های متا هستند. فایل robots.txt به کنترل پایش صفحات وب سایت پرداخته، در حالی که متا robots و x-robots به مدیریت ایندکس صفحات سایت در موتورهای جستجو می پردازند. این دستور به ربات‌ها اجازه می‌دهد به یک صفحه یا بخش وبسایت دسترسی پیدا کنند.

مدیریت ترافیک ربات‌ها از این جهت اهمیت دارد که سرور میزبان وبسایت شما برای پردازش و بارگذاری صفحات برای ربات‌ها مشغول نشود. از طرف دیگر، اکثر سرورها یا میزبان‌های وبسایت از نظر پنهای باند و ترافیک محدودیت دارند؛ به همین دلیل مصرف ترافیک برای ربات‌ها مقرون به صرفه نیست. فایل Robots.txt در وبسایت‌ها نقش همین راهنماها و نگهبانان را دارد اما نه برای کاربرانی که وارد سایت می‌شوند، بلکه برای ربات‌هایی که برای بررسی سایت یا هر کار دیگری می‌خواهند در بخش‌های مختلف سایت سرک بکشند. با استفاده از گوگل وبمستر یا همان کنسول جستجوی گوگل شما می توانید بررسی کنید که چه تعداد و چه صفحاتی از سایتتان فهرست بندی شده اند.

در قسمت سایت مپ هم می توانید آدرس سایت مپ خود را وارد کنید. هنگامی که فایل robots.txt خود را آپلود و آزمایش کردید، خزنده های گوگل به طور خودکار فایل robots.txt شما را پیدا کرده و شروع به استفاده از آن می‌کنند. اگر فایل robots.txt خود را به‌روزرسانی کردید و باید در اسرع وقت نسخه ذخیره‌شده گوگل را بررسی کنید. فایل robots.txt باید یک فایل متنی کدگذاری شده UTF-8 باشد (که شامل ASCII است). گوگل ممکن است کدهایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد و قوانین robots.txt را نامعتبر کند.

آیا واقعا به فایل Robots.txt نیاز است؟

این ربات نسبت به سایر ربات‌های جستجوگر، دستورات بیشتری را متوجه می‌شود. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می‌کند. وقتی ربات‌ها می‌خواهند صفحه‌هایی از سایت را بررسی کنند، اول فایل Robots.txt را می‌خوانند. در این فایل با چند دستور ساده مشخص می‌کنیم که ربات اجازه بررسی کدام صفحه‌ها را دارد و کدام صفحه‌ها را نباید بررسی کند. یک دلیل خوب دیگر برای استفاده از فایل robots.txt برای وردپرس این است که فایل ها و فولدرهایی که دوست ندارید، ایندکس نشوند و در نتایج جستجو گوگل نمایش داده نشوند.

ساخت فایل ربات (Robots.txt Generator)

اکنون فایلی که با برنامه notepad یا هر نرم‌افزار ویرایشگر متن دیگری که ساخته اید را با نام robots.txt ذخیره و روی هاست آپلود کنید. برای این کار کافیست گزینه Upload را انتخاب و فایل را به هاست خود اضافه کنید. از به نمایش درآمدن محتواهای تکراری در فهرست نتایج گوگل جلوگیری می کند.

چگونه فایل robots.txt را آپلود کنیم؟

از بارزترین مثال‌ها در این زمینه، سایت‌های اشتراک فایل غیرقانونی از جمله سایت‌های تورنت هستند. خیلی از این سایت‌ها اجازه دسترسی به محتوای داخلیشان را به ربات‌های موتورهای جستجو نمی‌دهند و به جای آن جستجوگر داخلی خودشان را به کاربران پیشنهاد می‌کنند. علاوه بر این یک فایل robots.txt به موتورهای جستجو بیان می کند که نقشه سایت XML در کجا واقع شده است. پس از درک مفهوم فایل robots.txt به تاثیر این فایل در سئو و بهینه سازی سایت می پردازیم. اگر اجازه بررسی صفحه‌ای را با دستورات فایل ربات نداده باشیم باز هم امکان دارد گوگل آن را ایندکس کند و در نتایج جستجو ظاهر شود. ربات گوگل یا باید به صورت مستقیم صفحه را دریافت و بررسی کند (معمولاً به کم نقشه سایت) یا باید از لینک‌های دیگری که از صفحه‌ها و سایت‌‌های دیگر به آن صفحه داده‌اند آن را پیدا و بررسی کند.

در برخی شرایط، مشکلاتی برای یکی از صفحات شما پیش می آید که باید آن را برطرف کنید؛ قبل از برطرف کردن حتما باید دستور Disallow را در فایل Robot.txt اجرا کنید. فایل Robot.txt در دایرکتوری روت سایت شما ذخیره می شود؛ برای پیدا کردن آن می توانید به دسترسی FTP در سی پنل یا دایرکت ادمین بروید. سپس می توانید این فایل را در public_html سایت خود پیدا کنید. این فایل حجم سنگینی ندارد و در اکثر مواقع نهایتاً چند صد بایت خواهد بود. © ۱۴۰۱ تمامی حقوق مادی و معنوی این وبسایت متعلق به گروه دیجیتال نردبانمی‌باشد و هر گونه کپی‌برداری پیگرد قانونی دارد. ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی می‌نویسم.