گوگل اکنون جزئیات جدیدی اضافه کرده است که سه دسته را توضیح می دهد که ،نده های گوگل آن شامل Googlebot، ،نده های مورد خاص و واکشی توسط کاربر می شود.

علاوه بر این، گوگل اکنون یک فایل با فرمت JSON را فهرست می کند که حاوی لیستی از آدرس های IP است که هر یک از انواع مختلف ،نده استفاده می کنند.

انواع ،نده های گوگل در بالای این صفحه Googlebot، گوگل این سه نوع ،نده را فهرست کرده است:

• Googlebot – ،نده اصلی محصولات جستجوی گوگل. گوگل می گوید این ،نده همیشه به قو،ن robots.txt احترام می گذارد.
• ،نده های مورد خاص – ،نده هایی که عملکردهای خاصی را انجام می دهند (مانند AdsBot)، که ممکن است به قو،ن robots.txt احترام بگذارند یا نکنند.
• واکشی های راه اندازی شده توسط کاربر – ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. به ،وان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند یا برخی از ابزارهای کنسول جستجوی Google، Google را برای واکشی صفحه بر اساس اقدامی که کاربر انجام می دهد، می فرستند.

آدرس های IP گوگل همچنین محدوده آدرس IP و ماسک DNS مع، را برای هر نوع فهرست کرده است:

چه چیزی جدید است. در اینجا بخشی از صفحه است که به روز شده است. بقیه صفحه عمدتاً بدون تغییر است.

چرا ما اهمیت می دهیم. من معتقدم گوگل این تغییر را پس از مشاهده برخی از واکنش‌ها نسبت به ربات GoogleOther که روز گذشته اعلام کرد، انجام داد. اکنون این توضیح می‌دهد که ،نده‌های Google چگونه عمل می‌کنند، زم، که به robots.txt احترام می‌گذارند و چگونه آنها را بهتر شناسایی کنند.

حال، اگر می‌خواهید ،نده اصلی Google، Googlebot را مسدود نکنید، اما تصمیم به مسدود ، سایر ،نده‌ها دارید، بهتر می‌تو،د آن ،نده‌ها را با دقت بیشتری شناسایی کنید.