فرض کنید شما وردپرس را روی هاست و سرور خود نصب کرده اید و شروع به کار می کنید. در ابتدا این سوال به وجود می آید که چگونه باید فعالیت خود را شروع کرد و چه مراحلی باید طی شوند. با این حال، قبل از شروع توسعه وب سایت خود، یک نکته کوچک اما مهم وجود دارد که باید آن را انجام دهید: از ایندکس شدن سایت توسط Google و سایر موتورهای جستجو جلوگیری نمایید.
اگر هنوز در حال توسعه سایت خود هستید و تمایل ندارید موتورهای جستجو مطالب وب سایت شما را ایندکس کنند، می توانید از روش هایی که در این آموزش مطرح شده اند، استفاده کنید.
در زمان طراحی سایت یا زمانی که قصد دارید تغییرات زیادی در سایت خود ایجاد کنید، ممکن است صفحات در حال طراحی و ناقص سایت توسط ربات های گوگل ایندکس شوند. طبیعی است که در این مرحله ممکن است موارد اشتباهی ایجاد شوند یا مطالبی که به صورت دمو در سایت درج کرده اید توسط ربات های گوگل ایندکس شوند. به همین دلیل است که توصیه می گردد موتورهای جستجو را به طور موقت از خزیدن و ایندکس کردن سایت خود منع کنید تا زمانی که از مرحله توسعه اولیه عبور کنید.
چرا باید موتورهای جستجو را از ایندکس کردن سایت خود منع کنید؟
گاها افراد می خواهند موتورهای جستجو را از ایندکس کردن سایت خود منصرف کنند، برخی از دلایل آنها در زیر لیست شده اند:
-
وب سایت های ناتمام - در این مرحله که در حال رفع خطاها و آزمایش روی سایت هستید، بهتر است وب سایت خود را در دسترس عموم قرار ندهید.
-
وب سایت های محدود - اگر قصد دارید یک وب سایت داشته باشید که صرفا کاربران با دعوت قبلی به آن ورود کنند و نمی خواهید این سایت در SERP ها (Search Engine Result Page یا صفحه‌ی نتایج موتورهای جستجو) فهرست شود.
-
حساب های آزمایشی - دارندگان سایت ها که برای اهداف آزمایشی و تست یک نسخه کپی از سایت خود را راه اندازی می کنند. از آنجا که این سایت ها برای عموم مردم طراحی نشده اند، اجازه ندهید که توسط موتورهای جستجو ایندکس شوند.
بنابراین چگونه می توانید موتورهای جستجو را از ایندکس کردن سایت خود منع کنید؟ در ادامه راه حل هایی برای انجام چنین کاری معرفی شده است.
-
مسدود کردن Google و سایر موتورهای جستجو با استفاده از پرونده Robots.txt
ساده ترین راه برای جلوگیری از ایندکس کردن مطالب سایت شما توسط موتورهای جستجو، جلوگیری از پیمایش آنها است. برای انجام این کار، باید فایل robots.txt وب سایت خود را ویرایش کنید. در زیر چند روش برای انجام اینکار آورده شده است:
تصویر(1)
User-agent: *
Disallow: /
تصویر(2)ویرایش دستی فایل robots.txt
اگر ترجیح می دهید به صورت دستی فایل robots.txt را ویرایش کنید، می توانید از طریقFile Manager هاست یا FTP برای ویرایش فایل robots.txt استفاده نمایید.
-
وارد CPanel شوید و سپس روی "File Manager" در قسمت "Files" کلیک کنید.
تصویر(3)
-
به پوشه اصلی سایت وردپرسی خود بروید (در بیشتر موارد public_html است) و فایل robots.txt را پیدا کنید. اگر نمی توانید آن را پیدا کنید، یک پرونده خالی جدید با نام robots.txt ایجاد نمایید.
-
روی فایل کلیک راست کرده و "Edit" را انتخاب کنید.
تصویر(4)
-
دستور زیر را وارد کرده (شماره1) و سپس جهت اعمال تغییرات روی "Save Changes" (شماره2) کلیک نمایید:
تصویر(5)
کد بالا از ایندکس کردن کل سایت شما در موتورهای جستجو جلوگیری می کند. اگر می خواهید صرفا دسترسی موتورهای جستجو به صفحه خاصی را محدود کنید، زیر شاخه صفحه موردنظر را در کد فوق قرار دهید. به عنوان مثال:
Disallow /blog/food-review-2019
نکته: دستورات موجود در فایل robots.txt به حروف کوچک و بزرگ حساس هستند، بنابراین هنگام ویرایش دستورات به این نکته توجه کنید.
2. قرار دادن رمز عبور جهت محافظت از سایت وردپرسی
موتورهای جستجو و خزنده ها به پرونده های محافظت شده با رمز عبور، دسترسی ندارند. از این رو، اگر کنترل پنل هاست شما cPanel است، می توانید با استفاده از ابزار Directory Privacy از پرونده های وب سایت خود با رمز عبور محافظت کنید. برای این کار، ابتدا وارد سی پنل شده و سپس از بخش "FILES" روی "Directory Privacy" کلیک نمایید.
تصویر(6)
در صفحه تنظیمات Directory Privacy، روت اصلی سایت خود را که در اینجا "public_html" می باشد، انتخاب کنید و روی "EDIT" کلیک نمایید.
تصویر(7)
در صفحه بعد گزینه "Password protect this directory" را فعال کرده و سپس روی "Save" کلیک نمایید.
تصویر(8)
در پایان نیز مطابق با تصویر زیر در بخش "Create User" نام کاربری، پسورد و تکرار پسورد را وارد کرده (شماره1) و جهت اعمال تغییر روی "Save" (شماره2) کلیک نمایید.
تصویر(9)استفاده از افزونه وردپرس
تعداد زیادی افزونه جهت محافظت از پوشه سایت وردپرسی شما وجود دارند که می توانید به صورت رایگان از آنها استفاده کنید. با این حال، پلاگین Protected Password یکی از بهترین افزونه ها در این زمینه است. بروزرسانی های جدید افزونه با نسخه جدید وردپرس تست شده است و استفاده از آن بسیار ساده است. این افزونه هم اکنون و در زمان نوشتن این آموزش بیش از 300 هزار بار نصب فعال داشته است.
پس از نصب و فعال سازی افزونه، به "تنظیمات -> رمز دار" رفته و تنظیمات را متناسب با نیازهای خود انجام دهید.
تصویر(10)3. حذف صفحه ایندکس شده از Google
اگر Google سایت شما را ایندکس کرده است، نگران نباشید. با دنبال کردن این مراحل می توانید آن را از SERP حذف کنید:
-
سایت خود را در کنسول جستجوی Google ثبت نمایید.
-
به وب سایت تازه اضافه شده خود به کنسول جستجوی Google دسترسی پیدا کرده و به بخش "Index -> Removals" بروید.
تصویر(11)
روی تب "TEMPORARY REMOVALS" و سپس "NEW REQUEST" کلیک نمایید.
تصویر(12)
مطابق با تصویر زیر URL را که می خواهید از Google حذف شود وارد کنید. سپس روی "NEXT" کلیک نمایید.
تصویر(13)در صفحه بعد مطابق با تصویر زیر روی "SUBMIT REQUEST" کلیک نمایید تا لینک موردنظر از نتایج جستجو گوگل حذف شود.
تصویر(14)طبق نکته درج شده در سرچ کنسول گوگل، این URL پس از حدود شش ماه از جستجوی Google مسدود می شود. هر زمان که تمایل داشتید و با مراجعه به صفحه Index -> Removals می توانید این مورد را لغو کنید.
پرینت این مقاله
