کلاً یک تارنما به وسیله ربات های خزنده گزینه تحقیق قرار میگیرد؛ این ربات ها روز آپ تو دیت هوشمند خیس گردیده و بر پایه ی الگوریتم های نو، بروز میگردند. این قابلیت و امکان برای شما مهیا میباشد که ربات های خزنده را در دست گرفتن کرده و دسترسی آنان را محصور فرمائید. یکی منش های محصور کردن دسترسی ربات های گوگل، بازنویسی فولدر Robots.txt میباشد. البته پوشه Robots.txt چیست؟ این پوشه چه کاربردی داراست؟ در پی به طور بی نقص دراین باره کلام کرده ایم و یادگرفتن ایجاد کرد پوشه robots txt در وردپرس را نیز قرار داده ایم.
فولدر Robots.txt چیست؟
موتورهای کاوش به یاری ربات های خزنده خویش میتوانند وبسایت های متعدد را نظارت نمایند؛ البته این قابلیت و امکان برای شما وجود داراست که جهت جنبش یا این که همان مسیر جنبش ربات های خزنده را معلوم فرمایید. این عمل به یاری فولدر ربات قابلیت و امکان پذیر میباشد. فولدر Robots.txt، در واقع یک آموزش سئو مشهد پوشه متنی بی آلایش میباشد که در مسیر مهم وبسایت یا این که روت دایرکتوری ( Root Directory ) قرار میگیرد.
این فولدر قسمت های قابل دسترسی یا این که محدوده گردیده برای ربات ها را تمجید می نماید. به یاری اطلاعاتی که دراین پوشه قرار می دهید، میتوانید به ربات های خزنده بگویید که کدام یک از صفحه های وب سایت را چشم و ایندکس نمایند و کدامیک را نادیده بگیرند. می اقتدار اینطور اعلامکرد که اولی چیزی که ربات های خزنده در تارنما شما مشاهده می نمایند، همین فولدر میباشد. شما میتوانید داده ها این فولدر را با کاوش نشانی پایین ملاحظه کنید:
تشکیل داد فولدر robots.txt
قبل از آنکه برای ایجاد کرد فولدر robots.txt مبادرت
آموزش سئو در مشهد
نمایید، باور نتایج فرمایید که اینگونه فایلی نیست؛ برای این شغل کافیست نشانی www.YourWebsite.com/robots.txt را سرچ نمایید. در صورتیکه با ورقه 404 مواجه شدید، یعنی این پوشه نیست.
البته درحالتی که با برگه ای مشمول کدهای User-agent و … روبرو شدید، بایستی برای مدیر پوشه به در دست گرفتن پنل هاست سایتتان رجوع کنید. برای دستکاری فولدر robots.txt، آن را در یک ویرایشگر متنی بی آلایش گشوده کرده و تغییرات مایحتاج را اجرا فرمایید. بعد آن را ذخیره کرده و جایگزین فولدر قبل فرمائید.
البته در صورتیکه اینگونه فایلی در هاست سایتتان عدم وجود، از روش اپ Notepad ویندوز یک فولدر متنی بسازید و با اسم robots آن را ذخیره نمائید؛ بعد از آن امرها گزینه نظرتان را در آن درج کرده و بعداز انبارکردن، آن را در روت اساسی وبسایت آپلود فرمایید.
نکته بسیار مهمی که می بایست به آن توجه نمائید، این میباشد که پوشه robots.txt به حروف تعالی و خرد حساس میباشد. از جمله در صورتی بخواهید برای فایلی با اسم File.php محدودیتی ساخت و ساز نمایید و به غلط در فولدر robots.txt، اسم آن را file.php بنویسید، هیچ محدودیتی برای آن جاری ساختن نکرده اید.
روش آزمایش پوشه robots.txt
در صورتیکه بخواهید از طریق بی آلایش استعمال نمایید، می بایست پوشه robots.txt را گشوده کرده و دستورها باطن آن را پژوهش نمائید. البته شیوه ماهر تری نیز وجود داراست که شما میتوانید به امداد ابزار آزمایش فولدر robots.txt در کنسول گوگل آن را آزمایش نمایید.
برای به کار گیری از این ابزار پروسه پایین را طی فرمایید:
آغاز وارد وبسایت Google Search Console گردید
روی قسمت robots.txt Tester کلیک نمائید
آیتم Test را تعیین نمایید
در حالتیکه که مشکلی در فولدر robots.txt وجود نداشته باشد، دکمه قرمز آزمایش، به رنگ سبز و Allowed عوض میشود. البته در صورتی مشکلی باشد، امر نقص دار هایلایت و معلوم میشود. ضمن این، این ابزار تجهیزات دیگری را نیز در دست شما قرار میدهد؛ به عنوان مثال میتوانید از روش نصیب URL Tester، نشانی صفحه ها متفاوت وب سایت را رسیدگی فرمایید تا متوجه گردید که برای ربات ها مسدود گردیده اند یا این که نه.
همینطور به امداد این ابزار میتوانید محتویات پوشه robots.txt را تغییر و تحول بدهید. ولی برای انجام تغییرات در سایتتان، بایستی محتوای بازنویسی گردیده را جایگزین محتوای گذشته در پوشه robots.txt در هاست خویش فرمایید. برای این شغل کافیست بعد از بازنویسی متن، روی دکمه Submit کلیک فرمایید تا به قسمت آتی بروید. در نصیب آتی شما میتوانید پوشه robots.txt را دانلود فرمائید، بعد فولدر نو را جایگزین پوشه پیشین فرمایید. در غایت بدین ورقه برگشته و دکمه Submit را بزنید.
یادگرفتن ایجاد کرد فولدر robots txt در وردپرس
مواقعی که در صدر برای ایجاد کرد فولدر robots txt گفته شد، برای وردپرس نیز قابل اجرا میباشد. البته نکاتی را بایستی در این باره رعایت نمائید:
نکته اولیه
در سال های قبلی برای مسدود سازی دسترسی ربات ها به پنل مدیر وب سایت وردپرس، بایستی از روش پنل مدیریتی وردپرس، مبادرت می کردیم. ولی در سال 2012 با بروزرسانی وردپرس، دیگر این فعالیت ضرورتی نداشت؛ به دلیل آنکه وردپرس به طور پیشفرض قابلیتی را به تگ هدر پوشه اضافه کرده که تگ noindex و مسدود سازی یا این که disallow در آن گنجانده شدهاست. در فیض شیت پنل مدیر تارنما وردپرس سوای هیچ مبادرت خاصی از لیست ایندکس موتورهای کاوش بیرون گردیده است.
نکته دوم
در وردپرس به طور پیشفرض پوشه robots.txt با اسم پوشه مجازی robots.txt یا این که Virtual robots.txt خاطر میگردد. یعنی شما نمی توانید به طور بی واسطه بهاین پوشه دسترسی داشته و آن را دستکاری نمائید. شما میتوانید صرفا از روش مفتوح کردن نشانی http://www.example.com/robots.txt در مرورگر بهاین پوشه دسترسی داشته باشید.
شیوه نامه پیش ذهنی که در پوشه robots.txt جای دارد، به طور تحت میباشد:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
طبق این فرمان، ربات ها اذن دسترسی به کاغذ admin-ajax.php را داراهستند؛ درحالتی که میخواهید دسترسی بدین برگه را غیر فعال فرمائید، می بایست به پیکربندی وردپرس رفته و مورد Search Engine Visibility را فعال نمائید.
ایجاد کرد robots.txt وردپرس
برای ایجاد کرد فولدر robots.txt در وردپرس آغاز وارد هاست سایتتان بشوید؛ آنگاه از آنجا روی آیتم File Manager کلیک فرمائید تا بتوانید پوشه ها گوناگون مو جود در سایتتان را ملاحظه کنید.
بعد از ورود بدین آیتم، مسیر /public_html/ را گزینش فرمایید. فعلا فایلی که با اپلیکیشن notepad یا این که هر اپلیکیشن ویرایشگر متن دیگری که ساخته اید را با اسم robots.txt ذخیره و روی هاست آپلود فرمائید. برای این عمل کافیست آیتم Upload را تعیین و فولدر را به هاست خویش اضافه فرمایید.
خلال این شما میتوانید با کلیک روی مورد " FILE+ " طبق تصویر ذیل، در فیلد New File Name، فایلی را با اسم robots.txt وارد کرده و در غایت Create New File کلیک نمائید تا پوشه شما ساخته خواهد شد.
اینک به یاری اوامر تحت میتوانید پوشه robots.txt را در اختیار گرفتن نمایید؛ قبل از آن می بایست بدانید که پوشه robots.txt از دو امر و ضابطه تقلید می نماید. این مقررات به گستردن پایین خواهد بود:
User-agent: به یاری این فرمان میتوانید معین فرمایید که چه نوع رباتی به دایرکتوری های هاست شما دسترسی خواهد داشت.
Disallow: این فرمان مشخص و معلوم می نماید که ربات ها اذن ورود به چه مسیرهایی را در هاست ندارند.
از جمله درحالتی که در هاست خویش فولدر ای با اسم "new folder " دارید و میخواهید که ربات ها به آن دسترسی نداشته باشند، بایستی قطعه کد ذیل را در پوشه robots.txt خویش قرار بدهید:
User-agent: *
Disallow: /new folder/
اوامر گزینش سطح دسترسی فولدر robots.txt در وردپرس
کلاً گوگل ربات های مختلفی را پیاده سازی نموده است که هرمورد وظیفه تحقیق آیتم خاصی را در وب سایت ها دارا هستند. مثلا ربات Googlebot وظیفه ایندکس صفحه های را دارااست یا این که ربات Googlebot-image، برای تحقیق تصاویر یک وبسایت پیاده سازی گردیده است. شما میتوانید دسترسی کلیه این ربات ها را به امداد اوامر تحت محصور نمایید:
محصور کردن دسترسی به یک تصویر:
user-agent: Googlebot-image
disallow: /photo/
غیر فعال کردن دسترسی به تمام وب سایت:
Disallow: /
غیر فعال کردن دسترسی به یک فولدر خاص:
Disallow: /name-folder/
Disallow: /name-folder/file/
محصور کردن به دسترسی به یک فولدر:
Disallow: /name-folder/name-file.format (pdf,jpg,...)
محصور کردن پوشههایی به فرمت خاص:
Disallow: /*.gif$
Disallow: /*.pdf$
Disallow: /*.docs$
دسترسی نقشه وب سایت در پوشه robots.txt:
در مجموع شما میتوانید به دو طریق نقشه سایتتان را به گوگل معرفی نمایید؛ برای این عمل میتوانید از سرچ کنسول یا این که فولدر robots.txt استعمال فرمائید. ولی قبل از آن عالی میباشد با استیناف مقاله " طراحی وب سایت مپ " نقشه سایتتان را بسازید. بعد از آن خوب میباشد از روش سرچ کنسول نقشه سایتتان را به گوگل معرفی فرمایید؛ برای این فعالیت می بایست سایتتان را در سرچ کنسول تصویب کرده باشید. در مقاله " تصویب تارنما در سرچ کنسول " به شما فراگیری های ما یحتاج را داده ایم.
البته چنانچه میخواهید از روش فولدر robots.txt این عمل را ایفا بدهید، بایستی قطعه کد تحت را به فولدر خویش اضافه فرمائید:
Sitemap:https://example.com/sitemap.xml
طریق بازنویسی فولدر robots.txt در وردپرس
با اعتنا به آنچه گفته شد، قابلیت و امکان دستکاری بی واسطه پوشه robots.txt در وردپرس نیست. به همین ادله بایستی برای دستکاری آن، یک فولدر تازه را تولید کرده و در هاست دوباره لود فرمائید. هنگامی که پوشه تازه robots.txt ساخته میشود، فولدر مجازی به طور اتوماتیک غیر فعال می گردد.
بایستگی داشتن پوشه robots.txt چیست؟
چنانچه کهاین پوشه در هاست سایتتان آپلود نشده باشد، خزندگان و ربات های موتورهای کاوش میتوانند به آحاد صفحه های تارنما شما دسترسی پیدا کرده و آنها را آیتم نظارت قرار دهند.
در صورتی فولدر robots.txt به صحت در وبسایت آپلود نشود، چه میشود؟
در حالتیکه این فولدر به صحت تهیه و تنظیم نشده باشد یا این که به طور بدون نقص در هاست آپلود نشده باشد، ربات های خزنده مانند پیشین همه صفحه ها وب سایت را ایندکس می نمایند. در واقع ربات ها دستوراتی را جاری ساختن می نمایند که به طور ظریف و همخوانی با اخلاق و رفتار آنان تعریف و تمجید گردیده باشد. در غیر اینصورت وظیفه طبیعی و اساسی خویش را اعمال میدهند.
دلایل مهم به کارگیری از فولدر robots.txt
1. پیشرفت در عملکرد سئو وب سایت
تارنما های گرانقدر و پربازدید، روزمره هزاران توشه به وسیله ربات های متعدد آیتم تحقیق قرار میگیرند. این ربات ها در طول دو مرحله یعنی رسیدگی و ایندکس، وبسایت را رسیدگی می نمایند. درحال حاضر فرض فرمایید روزمره بیش تر از صدها ربات یک تارنما را نظارت نمایند؛ این رخداد منجر نماید شدن سرعت بار گذاری تارنما شود. به دلیل آن که کل قسمت های تارنما و هاست، ذیل اثر هزارن ربات قرار گرفته میباشد.
قابل ذکر میباشد کهاین گزینه برای وبسایت های معدود بازدید، اثر کمتری دارااست. البته به هر جهت وبسایت هایی که بایستی روزمره ترافیک متعددی را هندل نمایند، با اضافه شدن وسعت متعددی از ربات ها نیز، مبتلا ایراد خواهند شد. به همین جهت میباشد که سئوکاران برای بهبود سرعت وبسایت، دسترسی ربات ها را محصور می نمایند. در واقع با این فعالیت اذن رسیدگی بعضی از قسمت های وب سایت که از لحاظ seo التفات کمتری داراهستند را به ربات ها نمی دهند.
2. مدیر دسترسی موتورهای کاوش
از مرسوم ترین دلایل استعمال از پوشه robots.txt، محصور کردن دسترسی ربات های خزنده به قسمت های متعدد یک وبسایت میباشد. حتما این پرسش برایتان پیش خواهد آمد که چرا بعضی از صفحه های نباید ایندکس شوند؟ ایندکس شدن برخی از صفحه های تارنما قادر است حاصل نامطلوبی را برای شما داشته باشد.
مثلا فرض نمایید شما به مناسبت های متفاوت، فستیوال ای را در تارنما خویش برگزار میکنید و برای این فستیوال ها صفحاتی را تولید میکنید. ضرورتی ندارد که ربات های خزنده این صفحه های را ایندکس نمایند؛ چراکه بعد از مدتی غیر فعال گردیده و از طرفی توشه محتوایی متعددی نیز ندارند. به همین برهان در پوشه robots.txt، بیان می کنیم کهاین صفحه های ایندکس نشوند.
چراکه در شکل ایندکس شدن، ممکن میباشد تحت عنوان صفحه های زامبی یا این که بی قیمت شناخته شوند. قابل ذکر میباشد که ایندکس نشدن یک کاغذ از تارنما، به معنای چشم نشدن آن کاغذ بوسیله استفاده کننده وجود ندارد. تنها در نتیجه ها آورده نشده و بوسیله ربات ها پژوهش نمیشود.
3. رئیس پیوند های تارنما
یکیاز تکنیک های seo کلاه سیاه، تکنیک URL Cloacking میباشد؛ در بنا شده در این تکنیک شما نشانی یک کاغذ را از نگاه موتورهای کاوش پنهان میکنید. یک کدام از دلایل به کارگیری از فولدر robots.txt، مدیر همین صفحه ها میباشد. با این تکنیک شما میتوانید نشانی صفحه های را از حیث مخاطب و موتور کاوش پنهان نگه دارید.
بیشترین کاربرد URL Cloacking، در سیستم همیاری در فروش یا این که Affiliate Marketing به چشم میخورد. با این شغل شما میتوانید پیوند های ساخت گردیده در Affiliate را رئیس کرده و نشانی آنها را پنهان نمایید. در غایت استفاده کننده ناچار میشود روی آنان کلیک نماید.
در نقطه پايان
دراین محتوا به شما گفتیم که پوشه Robots.txt چیست و چه کاربردی داراست؟ همانگونه که گفتیم به یاری فولدر Robots.txt میتوانید ربات های خزنده گوگل را تا حدی در دست گرفتن کرده و از ایندکس شدن و رسیدگی صفحه های بی بها نیز دوری نمائید. با این عمل میتوانید میزان دارایی خزش سایتتان را صرف صفحه ها پر ارزش خیس فرمائید و در سود seo تکنیکال سایتتان را ارتقاء دهید.