من دو صفحه از صفحات رتبه بندی خود را با استفاده از robots.txt مسدود کردم. ما موقعیتی را در اینجا یا آنجا از دست دادیم و همه قطعات برجسته برای صفحات را از دست دادیم. انتظار تاثیرات بسیار بیشتری را داشتم، اما دنیا به پایان نرسید.

سعی می‌کردم تاثیر حذف محتوا را بر رتبه‌بندی و ترافیک ببینم. تئوری من این بود که اگر صفحات را از ،یدن مسدود کنیم، گوگل باید برای رتبه‌بندی محتوا به سیگنال‌های پیوند تنها تکیه کند.

با این حال، من فکر نمی کنم چیزی که دیدم در واقع تاثیر حذف محتوا بود. شاید اینطور باشد، اما نمی توانم با اطمینان 100٪ این را بگویم، زیرا تأثیر بسیار کوچک به نظر می رسد. من یک آزمایش دیگر برای تأیید این موضوع انجام خواهم داد. برنامه جدید من این است که محتوا را از صفحه حذف کنم و ببینم چه می شود.

تئوری کاری من این است که ممکن است گوگل همچنان از محتوایی که قبلا در صفحه می دید برای رتبه بندی آن استفاده کند. Google Search Advocate جان مو، این رفتار را در گذشته تایید کرده است.

نه واقعا. اگر می د،م که قبلاً متنی در یک صفحه بوده است، حتی اگر متن حذف شده باشد، ممکن است همچنان صفحه را نشان دهیم. به ،وان مثال، اگر یک شرکت نام خود را تغییر دهد، اگر نام قدیمی را جستجو کرده باشید، همچنان می خواهید وب سایت را پیدا کنید.

— جان مو، (رسمی) · نه #30D (@JohnMu) 26 نوامبر 2020

این آزمون تاکنون نزدیک به پنج ماه است که اجرا شده است. در این مرحله، به نظر نمی رسد که گوگل رتبه بندی صفحه را متوقف کند. من گمان می کنم، پس از مدتی، به احتمال زیاد دیگر اعتماد به محتوایی که در صفحه بود هنوز وجود دارد، متوقف می شود، اما من شواهدی از این اتفاق ندیده ام.

برای دیدن تنظیمات و تاثیر تست به خواندن ادامه دهید. نکته اصلی این است که مسدود ، تصادفی صفحات (که گوگل قبلاً رتبه بندی می کند) از ،یدن با استفاده از robots.txt احتمالاً تأثیر زیادی روی رتبه بندی شما نخواهد داشت و احتمالاً همچنان در نتایج جستجو نشان داده می شوند.

من همان صفحاتی را انتخاب کردم که در مطالعه «تأثیر پیوند» استفاده شد، به جز مقاله قیمت گذاری سئو، زیرا جاشوا هاردویک به تازگی آن را به روز کرده بود. من تأثیر حذف پیوندهای این مقالات را دیده بودم و می خواستم تأثیر حذف محتوا را آزمایش کنم. همانطور که در مقدمه گفتم، مطمئن نیستم که واقعاً این اتفاق افتاده است.

من این دو صفحه را در 30 ژانویه 2023 مسدود کردم:

این خطوط به فایل robots.txt ما اضافه شد:

• Disallow: /blog/top-bing-searches/
• Disallow: /blog/top-youtube-searches/

همانطور که در نمودارهای زیر مشاهده می کنید، هر دو صفحه مقداری ترافیک را از دست دادند. اما آن طور که انتظار داشتم، تغییر زیادی در برآورد ترافیک ما ایجاد نکرد.

با نگاهی به کلمات کلیدی جداگانه، می تو،د ببینید که برخی از کلمات کلیدی یک یا دو موقعیت را از دست داده اند و برخی دیگر در حالی که صفحه از ،یدن مسدود شده است، در واقع موقعیت های رتبه بندی را به دست آورده اند.

جالب ترین چیزی که من متوجه شدم این است که آنها تمام قطعه های برجسته را از دست دادند. من حدس می‌زنم که مسدود شدن صفحات از ،یدن باعث می‌شود آن‌ها برای قطعه‌های ویژه واجد شرایط نباشند. وقتی بعداً بلوک را حذف کردم، مقاله جستجوهای Bing به سرعت برخی از قطعات را به دست آورد.

قابل توجه ترین تاثیر روی صفحات بر روی SERP است. صفحات ،اوین سفارشی خود را از دست دادند و پیامی نشان دادند که به جای توضیحات متا هیچ اطلاعاتی در دسترس نیست.

این مورد انتظار بود. زم، اتفاق می افتد که یک صفحه توسط robots.txt مسدود شود. علاوه بر این، اگر URL را بررسی کنید، وضعیت «ایند، شده، اگرچه توسط robots.txt مسدود شده است» را در کنسول جستجوی Google مشاهده خواهید کرد.

من معتقدم که پیام روی SERP ها بیشتر از افت رتبه به کلیک های صفحات آسیب می زند. می‌تو،د مقداری کاهش در برداشت‌ها، اما کاهش بیشتر در تعداد کلیک‌ها برای مقالات مشاهده کنید.

ترافیک برای مقاله «جستجوهای برتر YouTube»:

ترافیک برای مقاله «برترین جستجوهای بینگ»:

افکار نهایی

فکر نمی کنم هیچ یک از شما از تفسیر من در این مورد شگفت زده شوید. صفحاتی را که می خواهید ایند، شوند مسدود نکنید. درد می کند. آنقدرها هم که فکر می کنید بد نیست – اما هنوز هم درد دارد.