مسئله شما ارتباطی به فایل robots نداره و باید اگر از وردپرس استفاده می کنید در تنظیمات افزونه Yoast جلوی ایندکس شدن این صفحات رو بگیرید. اگر برای ایندکس کردن تمام صفحات خود با مشکل مواجه هستید، ممکن است با مشکل بودجه crawl مواجه شوید. با مسدود کردن صفحات بی‌اهمیت با robots.txt، گوگل بات می‌تواند بیشتر بودجه خزشِ شما را صرف صفحاتی کند که واقعاً مهم هستند. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید. به طور کلی، دو نوع دستور برای این فایل ها داریم؛ اولین دستور برای محدود کردن موتور های جستجو از کراول کردن است و دومین دستور هم برای اجازه دادن به موتور های جستجو برای کراول کردن خواهد بود.
- این موضع بیشتر در مورد پایشگرهای غیر موجه مانند ربات های یابنده ایمیل ها برقرار است.
- همانطور که می‌دانیم ربات خزنده و ایندکس کنندۀ گوگل، Googlebot نام دارد.
- بنابراین قبل از استفاده از این مورد به این مسئله دقت کافی را داشته باشید.
- از این دستور می‌توان به دو شکل در فایل robots.txt استفاده کرد.
- با این دستورالعمل می‌توان به تمام رباتها دسترسی داد و یا با اضافه کردن نام رباتی خاص، فقط به آن ربات دسترسی‌های مختلف را داد یا محدود کرد.
- این دستور مشخص کننده صفحه یا صفحات غیر قابل دسترس برای ربات‌های خزنده وب است.
فایل Robots.txt یک فایل متنیست که وبمسترها با ایجاد آن می توانند ربات های موتورهای جستجو را در هنگام پایش وب سایت راهنمایی کنند. فایل robots.txt جزیی از پروتکلی با نام REP است که به استانداردسازی نحوه پایش وب توسط رباتها و چگونگی دسترسی و ایندکس محتوا و ارائه آن به کاربران می پردازد. پروتکل REP همچنین شامل نحوه برخورد با متا تگ Robots و دستوراتی دیگری مانند فالو کردن لینک ها نیز است. نمودار های زیر روند رشد رتبه کلمات کلیدی یا صفحات سایت را در زمان استفاده از ربات افزایش ورودی گوگل نشان میدهند. نمودار نارنجی رنگ نشان دهنده رتبه گوگل است که با افزایش تعداد کلیک ( نمودار آبی – Clicks) و نمایش در نتایج جستجو کاربران (نمودار بنفش – Impressions)، رشد معنا داری را نشان میدهد.
اصول لینک سازی خارجی
تم رو عوض کردم و در گوگل وبمستر هم سایت رو ثبت کردم اما افزونه یوست هنوز پیغام میده که سایتتون ایندکس نمیشه.در سایت وبمستر تولز هم برای نقشه ی سایت ارور میده! با ابزار انلاین که فایل robots.txt رو چک کردم میگفت وجود نداره اما از طریقی که شما اموزش دادید فایلی رو اورد که اصلا دستوراتش فرق میکنند. هدف نهایی بهینه سازی فایل robot.txt این است که فایل هایی که به صورت عمومی در دسترس نیست را ایندکس نکند. برای مثال فایل های موجود در فولدر wp-plugins یا پیج هایی که در ادمین وردپرس وجود دارند. برخی از سئوکاران در قدیم معتقد بودند اگر صفحاتی مثل تگ ها، دسته بندی ها، و… ایندکس نشوند، صفحات سایت زودتر در دسترس خزنده های گوگل قرار می گیرند و رتبه بالاتری به دست می آورید.
ربات ارتقاء سئو و افزایش ورودی گوگل
و همینطور هر چیزی که بعد از “Disallow” شما آن را برای خزیدن ربات ها مسدود می کنید. برای ایجاد یک فایل TXT می توانید از ویرایشگر notepad ویندوز خود استفاده کنید. اگر تعداد صفحاتی که شما می خواهید با تعداد صفحات فهرست بندی شده برابر بودند. و صفحاتی را که تشخیص دهد که مهم نیستند، یا کپی از صفحات دیگر هستند را فهرست بندی نمی کند. این ابزار به صورت خودکار این فایل را برداشته و آن را تست می کند. همه خطاهای احتمالی و خطرات و ایرادها را همینجا به شما تذکر می دهد.
در صفحه بعد، یواست سئو، فایل Robot.txt قبلی را به شما نشان می دهد. و اگر تا به حال این فایل را نداشتید، در این مرحله robot.txt ایجاد می شود. کار ما، خودکارسازی، رباتیک کردن و بهینه‌سازی کلیه امور کامپیوتری است که توسط نیروی انسانی بر روی کامپیوتر قابل انجام باشد. ما برای شرکت ها و مراجعی که امنیت اطلاعات، برایشان بسیار حائز اهمیت است تضمین می کنیم که برنامه نویسی رباتیک هیچ نوع اطلاعاتی را از طریق اینترنت رد و بدل نمی کند زیرا اصلا دسترسی به اینترنت ندارد. بله وجود این فایل برای سئو بسیار مهم است و اگر آن را ندارید باید ایجاد کنید.