سئو

طراحی سایت

طراحی قالب

هاست

میزبانی وب
بهینه سازی

خرید هاست وردپرس

هاست ایران و خارج وردپرس

خرید هاست پربازدید

هاست پربازدید فرانسه و آلمان

فیلم آموزشی

آموزش سئو و بهینه سازی

موقعیت شما :
صفحه اصلی » تی اس تی پلن » آموزش ساخت فایل روبات تکست
شبکات اجتماعی ما
کانال تلگرام تی اس تی پلن کانال اینستاگرام تی اس تی پلن

آموزش ساخت فایل روبات تکست

آموزش ساخت فایل روبات تکست

یک فایل ساده برای مدیریت روبات های اینترنتی از دو قانون اصلی استفاده میکند که عبارتند از :
User-agent: نشان دهنده نوع روباتی است که نباید به صفحه دسترسی داشته باشد .
Disallow: بیانگر آدرس صفحه ای است که میخواهید از دید روبات ها پنهان بماند .

با ترکیب این دو دستور شما میتوانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید .

بعنوان مثال برای یک user-agent مشخص میتوان چندین آدرس را معرفی نمود و یا برعکس .

لیست تمامی روبات های اینترنتی معتبر در دیتابیس Web Robots Database موجود است .

شما میتوانید با قرار دادن نام هریک بعنوان User-agent قوانین مشخصی برای آنها تعریف کنید .

یا با استفاده از کاراکتر * به جای نام در فایل robots.txt یک قانون را برای همه روبات ها اعمال کنید .

مانند :

User-agent: *

Disallow: /folder1/

موتور جستجوی گوگل چندیدن نوع روبات مخصوص بخود دارد .

معروفترین آنها با نام Googlebot شناخته میشود و وظیفه بررسی و ایندکس صفحات وب را برعهده دارد .

روبات Gogglebot-image نیز مسئول بررسی تصاویر سایت ها و ایندکس کردن آنها می باشد .

User-Agent: Googlebot

Disallow: /folder2/

شما میتوانید به روش های مختلفی قوانین خود را اعمال کنید .

میتوان یک صفحه مشخص و یا یک دسته از صفحات را برای یک قانون تعریف نمود .

مثال های زیر روش های مختلف استفاده از این قوانین هستند :

برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

برای عدم دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید

Disallow: /blog/

برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید

Disallow: /blog/keyword-planner/

برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

و برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

نکته مهم :

• فایل روبات تکست به بزرگ و کوچک بودن حروف انگلیسی حساس می باشد .

 

 

برچسب ها :
اشتراک گذاری :

RssLenzorCloobFacenamaInstagramAparatTwitterFacebookGoogleplus
بیوگرافی نویسنده مهندس شکوهی نیا :

دیدگاه شما در مورد این مطلب چیست :

دیدگاه‌ها بسته شده‌اند.