robots.txt چیست؟

یک نمونه‌ی ساده

User-agent: *
Disallow: /admin
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

اشتباه‌های رایج

• Disallow امنیت نیست. فایل را همه می‌خوانند و آدرس بخش خصوصی را لو می‌دهد؛ دسترسی را با ورود و مجوز محافظت کنید.
• Disallow صفحه را از ایندکس خارج نمی‌کند. اگر جایی لینک شده باشد، آدرسش ممکن است بدون توضیح در نتایج بیاید.
• با noindex تداخل دارد. گوگل صفحه‌ی بسته‌شده را نمی‌خواند و noindex آن را نمی‌بیند؛ برای خارج کردن از ایندکس، صفحه را باز بگذارید و noindex بدهید.
• Disallow: / کل سایت را می‌بندد؛ بعد از راه‌اندازی سایت جدید حتماً بررسی کنید که آن را نگذاشته‌اید.

راهنمای کامل در sitemap.xml و robots.txt.