sitemap.xml و robots.txt: ساخت درست و معرفی به گوگل

sitemap.xml چیست؟

فهرستی از آدرس‌هایی که می‌خواهید ایندکس شوند. برای سایت‌های کوچک با لینک‌دهی داخلی خوب لازم نیست، ولی کشف صفحه‌های تازه را سریع‌تر می‌کند و در سایت‌های بزرگ یا تازه مفید است.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2026-10-08</lastmod>
  </url>
</urlset>

چه صفحه‌هایی در sitemap بیایند؟

• فقط صفحه‌هایی که می‌خواهید در جست‌وجو دیده شوند
• کد ۲۰۰ بدهند (نه ریدایرکت یا ۴۰۴)
• noindex نباشند
• canonical به خودشان باشد، نه صفحه‌ی دیگر

lastmod را فقط وقتی بنویسید که تاریخ واقعی آخرین تغییر باشد. گوگل priority و changefreq را استفاده نمی‌کند و می‌توانید ننویسید.

محدودیت‌ها

• هر فایل حداکثر ۵۰٬۰۰۰ آدرس و ۵۰ مگابایت (بدون فشرده‌سازی)
• برای بیشتر، چند فایل بسازید و با یک sitemap index معرفی کنید
• آدرس‌ها باید کامل (با https و دامنه) و از همان دامنه‌ی فایل باشند

robots.txt چیست؟

فایلی متنی با آدرس ثابت /robots.txt در ریشه‌ی دامنه که خزنده‌ها پیش از هر چیز می‌خوانند.

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

اشتباه‌های رایج

1. `Disallow: /` فراموش‌شده. معمولاً هنگام توسعه گذاشته و بعد از راه‌اندازی برداشته نشده است.
2. فکر کردن به امنیت. robots.txt را همه می‌توانند بخوانند؛ مسیر خصوصی را با ورود و مجوز محافظت کنید، نه با Disallow.
3. استفاده برای خارج کردن از ایندکس. Disallow جلوی خزیدن را می‌گیرد، نه ایندکس شدن آدرس را؛ اگر جایی لینک شده باشد، آدرسش ممکن است بدون توضیح در نتایج بیاید.
4. تداخل با noindex. گوگل صفحه‌ی بسته‌شده را نمی‌خواند و noindex را نمی‌بیند. برای خارج کردن از ایندکس، صفحه را باز بگذارید و noindex بدهید.
5. مسیر بدون اسلاش پایانی. Disallow: /admin/ فقط زیرمسیرها را می‌بندد و خود /admin باز می‌ماند؛ Disallow: /admin هر دو را می‌بندد.

معرفی به گوگل

1. فایل sitemap.xml را در ریشه‌ی سایت بگذارید و در robots.txt خط Sitemap: را اضافه کنید.
2. در Google Search Console وارد بخش Sitemaps شوید، آدرس فایل را بنویسید و «Submit» بزنید.
3. چند روز بعد وضعیت (موفق یا خطا) و تعداد آدرس‌های کشف‌شده را ببینید.
4. برای صفحه‌های بسیار مهم، با «بررسی آدرس» و «درخواست ایندکس» سرعت بدهید.

در وردپرس

افزونه‌های سئو (مثل Yoast SEO یا Rank Math) خودشان sitemap می‌سازند و به‌روز نگه می‌دارند؛ معمولاً نیازی به ساخت دستی نیست. فقط آدرسش را در Search Console ثبت کنید و مطمئن شوید صفحه‌های بی‌ارزش (برچسب‌ها، آرشیو تاریخ) را noindex کرده‌اید.