فایل Robots txt چیست و چه کاربردی در سئو دارد؟-جان مولر


در این مقاله به 9 نکته مهم و ابتدایی سئو برای کسب رتبه عالی در گوگل اشاره می کنیم. همانطور که همه‌ی ما می‌دانیم، ربات‌های موتورهای جستجو پررنگ‌ترین نقش ممکن برای معرفی کامل یک سایت به موتورهای جستجو را ایفا می‌کنند. گوگل به عنوان بزرگترین مرجع و گسترده‌ترین شبکه در این زمینه، ربات‌های اختصاصی و عمومی زیادی گسترش داده است.

  • استفاده از کلیک و بازدید از داده ها برای رتبه بندی نتایج کاری کاملاً عقلانی و منطقی است و اگر داده ها نادیده گرفته می شدند واقعا کار مسخره ای میشد.
  • برای مثال می توانید به ربات های گوگل بگویید که کدام صفحات سایت شما را ایندکس کنند و در نتایج گوگل نمایش دهند و کدام صفحات را در نتایج گوگل نمایش ندهند و ایندکس نکنند.
  • این دوره از نمایشگاه که 24مین دوره این رویداد بود با حضور 480 استارتاپ که در بخش الکام استارز حضور داشتند برگزار و استارتاپ‌ها به معرفی خدمات و تکنولوژی خود برای بازدیدکنندگان پرداختند.
  • به عنوان مثال اگر بخواهید برای فایلی با نام File.php محدودیتی ایجاد کنید و به اشتباه در فایل robots.txt، نام آن را file.php بنویسید، هیچ محدودیتی برای آن اعمال نکرده اید.

طبق ماده 12 فصل سوم قانون جرائم رایانه ای هر گونه کپی برداری به هر نحو از محتوای سایت ، توسط تیم یاس وب پیگیرد قانونی دارد. تا‌به‌حال به این فکر کرده‌اید که مطالب قدیمی و بی‌کیفیت وب‌سایت‌تان که به ظاهر هیچ ارزش سئویی ندارد و گوگل هیچ اعتباری برای آن قائل نیست، می‌تواند به رنکینگ سایت‌ شما صدمه بزند؟! این نوشته را بخوانید تا ببینید با این‌گونه نوشته‌ چه باید کرد. خود را بررسی و تست کنید تا مطمئن شوید بخش مهمی از سایت شما از طریق آن مسدود نشده باشد.

آموزش طراحی سایت

نردبان قصد دارد به شکلی حرفه‌ای، جایگاه مشتری را در فضای وب دگرگون کند. می‌خواهیم با طراحی وب‌سایت‌های کاربرپسند، تولید محتوای مفید و خدمات سئو حرفه‌ای به فضای وب فارسی خدمتی کرده باشیم. امیدواریم این نگاه حرفه‌ای به رقابتی سالم دامن بزند که در نهایت به پیشرفت وب فارسی منجر شود.

در دنیای اینترنت، بیش از هزاران نرم افزار برنامه نویسی شده برای خزیدن داخل وب وجود دارند که به آن‌ها ربات‌های خزنده یا crawler گفته می‌شود. همانطور که تا اینجا متوجه شدید، برای حذف کامل یک فایل خاص مانند فایل‌های PDF یا تصاویر از نتایج گوگل، می‌توان به کمک محدودیت‌های فایل robot اینکار را به صورت کامل انجام داد. با توجه به محدود بودن این بودجه برای هر سایت، طبیعتا نباید اجازه دهیم بودجه خزش سایت ما صرف خزش محتواهایی از سایت‌مان شود که هیچ کمکی به افزایش ترافیک سایت ما نمی‌کنند.

معرفی سایت

این اطلاعات به وبسایت‌ها کمک می‌کند اطلاعات سازگار با سیستم کاربر را نمایش دهند. تصویر زیر فایل robots.txt سایت یوتیوب به عنوان نمونه نمایش داده شده‌است. معمولا موتورهای جستجو محتویات فایل robotx.txt را ذخیره می‌کنند تا به دانلود مجدد آن نیاز نداشته باشند، با این حال روزانه چندبار نسخه جدید فایل را بارگذاری می‌کنند. پس انعکاس تغییرات اعمال شده در فایل Robots.txt زمان زیادی نخواهد برد و سریعا اعمال می‌شود. دقت کنید که دستور disallow باید در خط بعد از user-agent قرار بگیرد. این یعنی در ابتدا باید ربات های مورد نظر را فراخوانی کنید سپس به آنها دستور ایندکس کردن یا نکردن صفحات را بدهید.

به عنوان نکته بعدی کاملا توجه داشته باشین که مراحل اولیه بهتره تعداد سرچ روزانتون رو خورد خورد افزایش بدین و به گوگل شک وارد نکنید. مثلا اگر شما در صفه ای از سایتتون روزانه یک سرچ هم نداشتین یک دفعه اون از رو صفر به ده یا بیست تا نرسونین. اول با روزی سه الی چهارتا سرچ شروع بکنید و بعد از دو روز بکنیدش هفت تا یا هشت تا حالا همینطور خورد خورد تعدادش رو افزایش بدین تا گوگل شک نکنه. در نهایت همینطور که سئو سایتتون رشد میکنه کلمات کلیدی بهتر و قوی تری مد نظر قرار بدین و تعداد جست و جو های روزانه رو بیشتر بکنید. یکی دیگر روش‌های ویرایش فایل robots.txt به صورت دستی می‌باشد که می‌توانید از طریق سی پنل هاست و یا FTP به هاست خود متصل شده و فایل را ویرایش و سفارشی‌سازی کنید.

آموزش نحوه فعال سازی ssl در وردپرس (تغییر دامنه از http به https)

پس از ورود به هاست، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود یا public_html پیدا کنید. چنانچه فایلی با این عنوان مشاهده نکردید مطابق تصویر زیر می-توانید با کلیک راست بر روی گزینه Create new file کلیک کرده و نام robots.txt را برای آن انتخاب کنید. با لیست کردن برخی صفحات خاص و استفاده از Disallow‌ در حقیقت شما به ربات‌های مخرب و هکرها می‌گویید که این صفحات سایت مهم هستند و نباید به آن‌ها دسترسی پیدا کنید و آن‌ها به راحتی این صفحات را پیدا می‌کنند. اما اگر مسیرها و دایرکتوری‌ها را دیس‌آلو کنید این ربات‌ها صرفا می‌توانند صفحه‌ی دایرکتوری را ببینند و امکان دیدن سایر صفحات و وب‌پیج‌ها وجود ندارد.