Robots.txt یکی از ساده‌ترین فایل‌های یک وب‌سایت است، اما در عین حال یکی از ساده‌ترین فایل‌ها برای به هم ریختن است. فقط یک کاراکتر بی جا می تواند سئوی شما را خراب کند و موتورهای جستجو را از دسترسی به محتوای مهم سایت شما باز دارد.
به همین دلیل است که پیکربندی نادرست robots.txt بسیار رایج است – حتی در بین متخصصان باتجربه SEO.

در این راهنما، یاد خواهید گرفت:

فایل robots.txt چیست
robots.txt چه شکلی است
عوامل و دستورالعمل های کاربر Robots.txt
این که آیا به فایل robots.txt نیاز دارید
چگونه فایل robots.txt خود را پیدا کنیم
چگونه یک فایل robots.txt ایجاد کنیم
بهترین شیوه های Robots.txt
نمونه فایل robots.txt
چگونه فایل robots.txt خود را برای مشکلات بررسی کنیم
راهنمای مبتدیان برای سئو فنی
در سئو فنی جدید هستید؟ ما را بررسی کنید
راهنمای مبتدیان برای سئو فنی
فایل robots.txt چیست؟
یک فایل robots.txt به موتورهای جستجو می گوید که کجا می توانند در سایت شما بروند و کجا نمی توانند بروند.

در درجه اول، تمام محتوایی را که می خواهید از موتورهای جستجو مانند Google قفل کنید، فهرست می کند. همچنین می توانید به برخی از موتورهای جستجو (نه گوگل) بگویید که چگونه می توانند محتوای مجاز را بخزند.

یادداشت مهم
بیشتر موتورهای جستجو مطیع هستند. آنها عادت به شکستن ورودی ندارند. با این حال، برخی از انتخاب چند قفل استعاری خجالتی نیستند.

گوگل یکی از آن موتورهای جستجو نیست. آنها از دستورالعمل های یک فایل robots.txt پیروی می کنند.

فقط بدانید که برخی از موتورهای جستجو کاملاً آن را نادیده می گیرند.

فایل robots.txt چگونه است؟
فرمت اصلی یک فایل robots.txt در اینجا آمده است:

نقشه سایت: [محل URL نقشه سایت]

عامل کاربر: [شناسه ربات]

عامل کاربر: [شناسه ربات دیگر]

اگر قبلا یکی از این فایل ها را ندیده اید، ممکن است دلهره آور به نظر برسد. با این حال، نحو بسیار ساده است. به طور خلاصه، شما قوانینی را به ربات‌ها اختصاص می‌دهید که عامل کاربر آن‌ها را به همراه دستورالعمل‌ها بیان کنید.

بیایید این دو جزء را با جزئیات بیشتری بررسی کنیم.

عامل های کاربر
هر موتور جستجو خود را با یک عامل کاربر متفاوت شناسایی می کند. می توانید دستورالعمل های سفارشی را برای هر یک از اینها در فایل robots.txt خود تنظیم کنید. صدها عامل کاربر وجود دارد ، اما در اینجا چند مورد مفید برای سئو وجود دارد:

گوگل: Googlebot
تصاویر گوگل: Googlebot-Image
بینگ: Bingbot
یاهو: Slurp
بایدو : بایدو اسپایدر
DuckDuckGo: DuckDuckBot
SIDENOTE. همه عوامل کاربر در robots.txt به حروف بزرگ و کوچک حساس هستند.
همچنین می‌توانید از علامت ستاره (*) برای تخصیص دستورالعمل‌ها به همه عوامل کاربر استفاده کنید.

به عنوان مثال، فرض کنید می‌خواستید همه ربات‌ها به جز Googlebot را از خزیدن در سایت خود مسدود کنید. در اینجا نحوه انجام این کار به شرح زیر است:

عامل کاربر: *
غیر مجاز:/

عامل کاربر: Googlebot
اجازه: /
بدانید که فایل robots.txt شما می‌تواند شامل دستورالعمل‌هایی برای هر تعداد کاربر عامل باشد. گفته می‌شود، هر بار که یک کاربر-عامل جدید را اعلام می‌کنید، به عنوان یک صفحه تمیز عمل می‌کند. به عبارت دیگر، اگر دستورالعمل‌هایی را برای چندین عامل کاربر اضافه کنید، دستورالعمل‌های اعلام‌شده برای عامل کاربر اول برای عامل دوم، سوم، یا چهارم و غیره اعمال نمی‌شود.

استثنای این قانون زمانی است که یک کاربر-عامل را بیش از یک بار اعلام کنید. در آن صورت، تمام بخشنامه های مربوطه ترکیب شده و دنبال می شود.

یادداشت مهم
خزنده ها فقط از قوانینی که در زیر عامل(های) کاربر اعلام شده پیروی می کنند که دقیق ترین آنها را اعمال می کند . به همین دلیل است که فایل robots.txt بالا همه ربات ها به جز Googlebot (و سایر ربات های گوگل) را از خزیدن در سایت مسدود می کند. Googlebot اعلامیه کمتر خاص عامل کاربر را نادیده می گیرد.

دستورالعمل ها
دستورالعمل‌ها قوانینی هستند که می‌خواهید عوامل کاربر اعلام‌شده از آنها پیروی کنند.

دستورالعمل های پشتیبانی شده
در اینجا دستورالعمل هایی وجود دارد که Google در حال حاضر از آنها پشتیبانی می کند، همراه با استفاده از آنها.

غیر مجاز
از این دستورالعمل برای دستور دادن به موتورهای جستجو برای عدم دسترسی به فایل ها و صفحاتی که در یک مسیر خاص قرار دارند استفاده کنید. برای مثال، اگر می‌خواهید همه موتورهای جستجو را از دسترسی به وبلاگ خود و همه پست‌های آن مسدود کنید، ممکن است فایل robots.txt شما به شکل زیر باشد:

عامل کاربر: *
غیر مجاز: /blog
SIDENOTE. اگر نتوانید مسیری را بعد از دستور غیر مجاز تعریف کنید، موتورهای جستجو آن را نادیده می گیرند.
اجازه
از این دستورالعمل استفاده کنید تا به موتورهای جستجو اجازه دهید یک زیر شاخه یا صفحه را بخزند – حتی در یک فهرست غیر مجاز. به عنوان مثال، اگر می‌خواهید از دسترسی موتورهای جستجو به هر پستی در وبلاگ خود به جز یک پست جلوگیری کنید، ممکن است فایل robots.txt شما به شکل زیر باشد:

عامل کاربر: *
غیر مجاز: /blog
مجاز: /blog/allowed-post
در این مثال، موتورهای جستجو می توانند به /blog/allowed-post. اما آنها نمی توانند دسترسی داشته باشند:

/blog/another-post
/blog/yet-another-post
/blog/download-me.pdf

هم گوگل و هم بینگ از این دستورالعمل پشتیبانی می کنند.

SIDENOTE. همانند دستورالعمل Disallow، اگر نتوانید مسیری را بعد از دستورالعمل مجاز تعریف کنید، موتورهای جستجو آن را نادیده می گیرند.
یادداشتی در مورد قوانین متضاد
مگر اینکه مراقب باشید، دستورات را به راحتی نمی‌توانید در تضاد با یکدیگر قرار دهید. در مثال زیر، ما دسترسی به را ممنوع کرده /blog/ و اجازه دسترسی به آن را می دهیم /blog.

عامل کاربر: *
غیر مجاز: /blog/
مجاز: /blog
در این مورد، به /blog/post-title/ نظر می رسد URL هم غیر مجاز و هم مجاز است. پس کدام برنده است؟

برای گوگل و بینگ، قانون این است که دستورالعملی که بیشترین کاراکتر را داشته باشد برنده است. در اینجا، این دستورالعمل عدم اجازه است.

Disallow: /blog/ (6 کاراکتر)
Allow: /blog (5 کاراکتر)

اگر طول دستورالعمل‌های مجاز و غیرمجاز برابر باشند، آن‌گاه دستورالعمل‌های محدودکننده برنده می‌شوند. در این مورد، این دستورالعمل اجازه خواهد بود.

SIDENOTE. در اینجا، /blog (بدون اسلش انتهایی ) همچنان قابل دسترسی و خزیدن است.
مهمتر از همه، این فقط برای گوگل و بینگ صادق است. سایر موتورهای جستجو به اولین دستورالعمل تطبیق گوش می دهند. در این مورد، این غیر مجاز است.

نقشه سایت
از این دستورالعمل برای تعیین مکان نقشه(های) سایت خود برای موتورهای جستجو استفاده کنید. اگر با نقشه های سایت آشنایی ندارید، معمولاً شامل صفحاتی می شود که می خواهید موتورهای جستجو آن ها را خزیده و فهرست بندی کنند.

در اینجا نمونه ای از فایل robots.txt با استفاده از دستورالعمل نقشه سایت آورده شده است:

نقشه سایت: https://www.domain.com/sitemap.xml

عامل کاربر: *
غیر مجاز: /blog/
مجاز: /blog/post-title/
گنجاندن نقشه(های) سایت شما در فایل robots.txt چقدر اهمیت دارد؟ اگر قبلاً از طریق کنسول جستجو ارسال کرده‌اید، برای Google تا حدودی زائد است. با این حال، به موتورهای جستجوی دیگر مانند بینگ می‌گوید که نقشه سایت شما را کجا پیدا کنند، بنابراین هنوز هم تمرین خوبی است.

توجه داشته باشید که لازم نیست دستورالعمل نقشه سایت را چندین بار برای هر کاربر-عامل تکرار کنید. فقط در مورد یکی صدق نمی کند. بنابراین بهتر است دستورالعمل های نقشه سایت را در ابتدا یا انتهای فایل robots.txt خود قرار دهید. مثلا:

نقشه سایت: https://www.domain.com/sitemap.xml

عامل کاربر: Googlebot
غیر مجاز: /blog/
مجاز: /blog/post-title/

عامل کاربر: Bingbot
غیر مجاز: /services/
گوگل مانند Ask، Bing و Yahoo از دستورالعمل نقشه سایت پشتیبانی می کند .

SIDENOTE. می توانید هر تعداد نقشه سایت را که دوست دارید در فایل robots.txt خود قرار دهید.
دستورالعمل های پشتیبانی نشده
در اینجا دستورالعمل هایی وجود دارد که دیگر توسط Google پشتیبانی نمی شوند – برخی از آنها از نظر فنی هرگز پشتیبانی نمی شوند.

خزیدن-تاخیر
قبلاً می‌توانستید از این دستورالعمل برای تعیین تأخیر خزیدن در چند ثانیه استفاده کنید. برای مثال، اگر می‌خواهید Googlebot بعد از هر عمل خزیدن 5 ثانیه صبر کند، تاخیر خزیدن را روی 5 تنظیم می‌کنید:

عامل کاربر: Googlebot
تاخیر خزیدن: 5
گوگل دیگر از این دستورالعمل پشتیبانی نمی کند، اما بینگ و یاندکس از آن پشتیبانی می کنند.

با این حال، هنگام تنظیم این دستورالعمل مراقب باشید، به خصوص اگر سایت بزرگی دارید. اگر تاخیر خزیدن را 5 ثانیه تنظیم کنید، ربات‌ها را محدود می‌کنید که حداکثر 17280 URL در روز بخزند. اگر میلیون‌ها صفحه دارید این خیلی مفید نیست، اما اگر وب‌سایت کوچکی داشته باشید می‌تواند در پهنای باند صرفه‌جویی کند.

Noindex
این دستورالعمل هرگز به طور رسمی توسط گوگل پشتیبانی نشد. با این حال، تا همین اواخر، گمان می‌رفت که گوگل دارای «کدی است که قوانین پشتیبانی‌نشده و منتشر نشده (مانند noindex) را کنترل می‌کند. بنابراین اگر می‌خواهید از فهرست کردن همه پست‌های وبلاگتان توسط گوگل جلوگیری کنید، می‌توانید از دستورالعمل زیر استفاده کنید:

عامل کاربر: Googlebot
Noindex: /blog/
با این حال، در 1 سپتامبر 2019، گوگل به صراحت اعلام کرد که این دستورالعمل پشتیبانی نمی شود . اگر می خواهید صفحه یا فایلی را از موتورهای جستجو حذف کنید، به جای آن از تگ متا روبات یا هدر HTTP x-robots استفاده کنید.

Nofollow
این دستور دیگری است که گوگل هرگز به طور رسمی از آن پشتیبانی نکرد و برای دستور دادن به موتورهای جستجو برای عدم دنبال کردن پیوندها در صفحات و فایل‌ها در یک مسیر خاص استفاده شد. برای مثال، اگر می‌خواهید Google را از دنبال کردن همه پیوندهای موجود در وبلاگ خود منع کنید، می‌توانید از دستورالعمل زیر استفاده کنید:

عامل کاربر: Googlebot
Nofollow: /blog/
گوگل اعلام کرد که این دستورالعمل در تاریخ 1 سپتامبر 2019 به طور رسمی پشتیبانی نمی‌شود. اگر می‌خواهید اکنون همه پیوندهای یک صفحه را فالو کنید، باید از متا تگ robots یا هدر x-robots استفاده کنید. اگر می خواهید به گوگل بگویید که پیوندهای خاصی را در یک صفحه دنبال نکند، از ویژگی پیوند rel=”nofollow” استفاده کنید.

آیا به فایل robots.txt نیاز دارید؟
داشتن فایل robots.txt برای بسیاری از وب سایت ها، به خصوص وب سایت های کوچک، حیاتی نیست.

گفته شد، دلیل خوبی برای نداشتن آن وجود ندارد. این به شما کنترل بیشتری بر روی مکان‌هایی که موتورهای جستجو می‌توانند و نمی‌توانند در وب‌سایت شما مراجعه کنند، می‌دهد و این می‌تواند در مواردی مانند:

جلوگیری از خزیدن محتوای تکراری ؛
خصوصی نگه داشتن بخش های یک وب سایت (به عنوان مثال، سایت استیجینگ شما).
جلوگیری از خزیدن صفحات نتایج جستجوی داخلی؛
جلوگیری از اضافه بار سرور؛
جلوگیری از هدر دادن « بودجه خزیدن » توسط گوگل .
جلوگیری از نمایش تصاویر ، ویدئوها و فایل های منابع در نتایج جستجوی گوگل.
توجه داشته باشید که اگرچه Google معمولاً صفحات وب مسدود شده در robots.txt را فهرست نمی کند، هیچ راهی برای تضمین حذف از نتایج جستجو با استفاده از فایل robots.txt وجود ندارد.

همانطور که گوگل می گوید ، اگر محتوا از مکان های دیگر در وب به آن پیوند داده شود، ممکن است همچنان در نتایج جستجوی گوگل ظاهر شود.

چگونه فایل robots.txt خود را پیدا کنیم
اگر قبلاً یک فایل robots.txt در وب سایت خود دارید، در domain.com/robots.txt قابل دسترسی است. به URL موجود در مرورگر خود بروید. اگر چیزی شبیه به این را مشاهده کردید، یک فایل robots.txt دارید:

ربات های ahrefs 5

چگونه یک فایل robots.txt ایجاد کنیم
اگر از قبل فایل robots.txt ندارید، ایجاد آن آسان است. فقط یک سند txt خالی را باز کنید و شروع به تایپ دستورالعمل ها کنید. به عنوان مثال، اگر می خواهید همه موتورهای جستجو را از خزیدن /admin/دایرکتوری خود منع کنید، چیزی شبیه به این خواهد بود:

عامل کاربر: *
غیر مجاز: /admin/
به ایجاد دستورالعمل ها ادامه دهید تا زمانی که از آنچه دارید راضی باشید. فایل خود را به عنوان “robots.txt” ذخیره کنید.

همچنین، می‌توانید از یک مولد robots.txt مانند این استفاده کنید .

خالق ربات ها 3

مزیت استفاده از ابزاری مانند این این است که خطاهای نحوی را به حداقل می رساند. این خوب است زیرا یک اشتباه می تواند منجر به یک فاجعه سئو برای سایت شما شود – بنابراین باید احتیاط کرد.

نقطه ضعف این است که آنها از نظر شخصی سازی تا حدودی محدود هستند.

فایل robots.txt خود را کجا قرار دهید
فایل robots.txt خود را در دایرکتوری ریشه ساب دامنه ای که برای آن اعمال می شود قرار دهید. به عنوان مثال، برای کنترل رفتار خزیدن در domain.com ، فایل robots.txt باید در domain.com/robots.txt قابل دسترسی باشد .

اگر می‌خواهید خزیدن در زیر دامنه‌ای مانند blog.domain.com را کنترل کنید، فایل robots.txt باید در blog.domain.com/robots.txt قابل دسترسی باشد .

بهترین شیوه های فایل Robots.txt
برای جلوگیری از اشتباهات رایج این موارد را در نظر داشته باشید.

برای هر دستورالعمل از یک خط جدید استفاده کنید
هر بخشنامه باید روی خط جدیدی قرار گیرد. در غیر این صورت، موتورهای جستجو را گیج می کند.

بد:

User-agent: * Disallow: /directory/ Disallow: /ather-directory/
خوب:

عامل کاربر: *
غیر مجاز: /directory/
غیر مجاز: /ather-directory/
برای ساده کردن دستورالعمل ها از حروف عام استفاده کنید
نه تنها می‌توانید از علامت‌های عام (*) برای اعمال دستورالعمل‌ها به همه عوامل کاربر، بلکه برای مطابقت با الگوهای URL هنگام اعلام دستورالعمل‌ها استفاده کنید. به عنوان مثال، اگر می‌خواهید موتورهای جستجو را از دسترسی به URLهای دسته‌بندی محصولات پارامترشده در سایت خود جلوگیری کنید، می‌توانید آنها را به صورت زیر فهرست کنید:

عامل کاربر: *
غیر مجاز: /محصولات/تی شرت؟
غیر مجاز: /products/hoodies؟
غیر مجاز: /products/jackets?
…
اما این خیلی کارآمد نیست. بهتر است کارها را با یک وایلدکارت مانند این ساده کنید:

عامل کاربر: *
غیر مجاز: /products/*؟
این مثال موتورهای جستجو را از خزیدن همه URL های زیر پوشه /product/ که دارای علامت سوال هستند مسدود می کند. به عبارت دیگر، هر URL دسته بندی محصول پارامتری شده است.

برای مشخص کردن انتهای URL از “$” استفاده کنید
علامت “$” را برای نشان دادن انتهای URL اضافه کنید. برای مثال، اگر می‌خواهید از دسترسی موتورهای جستجو به همه فایل‌های pdf. در سایت خود جلوگیری کنید، ممکن است فایل robots.txt شما به شکل زیر باشد:

عامل کاربر: *
غیر مجاز: /*.pdf$
در این مثال، موتورهای جستجو نمی توانند به URL هایی که با .pdf ختم می شوند دسترسی پیدا کنند. این بدان معناست که آنها نمی توانند به /file.pdf دسترسی داشته باشند، اما می توانند به /file.pdf?id=68937586 دسترسی داشته باشند زیرا با “.pdf” ختم نمی شود.

از هر user-agent فقط یک بار استفاده کنید
اگر چندین بار یک کاربر عامل را مشخص کنید، گوگل اهمیتی نمی‌دهد. این فقط تمام قوانین را از اعلامیه های مختلف در یک ترکیب می کند و از همه آنها پیروی می کند. برای مثال، اگر در فایل robots.txt خود، user-agent ها و دستورالعمل های زیر را داشتید…

عامل کاربر: Googlebot
غیر مجاز: /a/

عامل کاربر: Googlebot
غیر مجاز: /b/
… Googlebot هیچ یک از این زیرپوشه ها را نمی خزد.

با این حال، منطقی است که هر کاربر-عامل را فقط یک بار اعلام کنید زیرا کمتر گیج کننده است. به عبارت دیگر، با ساده و مرتب نگه داشتن چیزها کمتر مرتکب اشتباهات مهم می شوید.

برای جلوگیری از خطاهای ناخواسته از ویژگی استفاده کنید
عدم ارائه دستورالعمل های خاص در هنگام تنظیم دستورالعمل ها می تواند منجر به اشتباهاتی شود که به راحتی از قلم می افتند و می توانند تأثیر فاجعه باری بر SEO شما داشته باشند. به عنوان مثال، فرض کنید که شما یک سایت چند زبانه دارید و روی یک نسخه آلمانی کار می کنید که در زیر شاخه /de/ موجود خواهد بود.

از آنجایی که کاملاً آماده کار نیست، می‌خواهید از دسترسی موتورهای جستجو به آن جلوگیری کنید.

فایل robots.txt زیر از دسترسی موتورهای جستجو به آن زیرپوشه و همه چیز در آن جلوگیری می کند:

عامل کاربر: *
غیر مجاز: /de
اما همچنین از خزیدن موتورهای جستجو در هر صفحه یا فایلی که با شروع می شود جلوگیری می /deکند.

مثلا:

/designer-dresses/
/delivery-information.html
/depeche-mode/t-shirts/
/definitely-not-for-public-viewing.pdf

در این مثال، راه حل ساده است: یک اسلش انتهایی اضافه کنید.

عامل کاربر: *
غیر مجاز: /de/
از نظرات برای توضیح فایل robots.txt خود برای انسان ها استفاده کنید
نظرات به توضیح فایل robots.txt برای توسعه دهندگان و حتی خود آینده شما کمک می کند. برای درج نظر، خط را با هش (#) شروع کنید.

# این به بینگ دستور می دهد تا سایت ما را نخزد.
عامل کاربر: Bingbot
غیر مجاز:/
خزنده ها همه چیز را در خطوطی که با هش شروع می شوند نادیده می گیرند.

برای هر زیر دامنه از یک فایل robots.txt جداگانه استفاده کنید
Robots.txt فقط رفتار خزیدن را در زیر دامنه ای که میزبان آن است کنترل می کند. اگر می‌خواهید خزیدن در یک زیر دامنه متفاوت را کنترل کنید، به یک فایل robots.txt جداگانه نیاز دارید.

برای مثال، اگر سایت اصلی شما در domain.com و وبلاگ شما در blog.domain.com قرار دارد ، به دو فایل robots.txt نیاز دارید. یکی باید در دایرکتوری ریشه دامنه اصلی و دیگری در دایرکتوری ریشه وبلاگ برود.

نمونه فایل robots.txt
در زیر چند نمونه از فایل های robots.txt آورده شده است. اینها عمدتاً برای الهام گرفتن هستند، اما اگر موردی با نیازهای شما مطابقت داشت، آن را در یک سند متنی کپی کنید، آن را به عنوان “robots.txt” ذخیره کنید و در دایرکتوری مناسب آپلود کنید.

دسترسی همه جانبه برای همه ربات ها
عامل کاربر: *
غیر مجاز:
SIDENOTE.عدم اعلام یک URL پس از یک دستورالعمل، آن دستورالعمل را اضافی می کند. به عبارت دیگر، موتورهای جستجو آن را نادیده می گیرند. به همین دلیل است که این بخشنامه عدم اجازه تاثیری بر سایت ندارد. موتورهای جستجو همچنان می توانند تمام صفحات و فایل ها را بخزند.
دسترسی برای همه ربات ها وجود ندارد
عامل کاربر: *
غیر مجاز:/
یک زیر شاخه را برای همه ربات ها مسدود کنید
عامل کاربر: *
غیر مجاز: /folder/
مسدود کردن یک زیر شاخه برای همه ربات ها (با یک فایل در داخل مجاز)
عامل کاربر: *
غیر مجاز: /folder/
مجاز: /folder/page.html
یک فایل را برای همه ربات ها مسدود کنید
عامل کاربر: *
غیر مجاز: /this-is-a-file.pdf
یک نوع فایل (PDF) را برای همه ربات ها مسدود کنید
عامل کاربر: *
غیر مجاز: /*.pdf$
تمام URL های پارامتری شده را فقط برای Googlebot مسدود کنید
عامل کاربر: Googlebot
غیر مجاز: /*؟
چگونه فایل robots.txt خود را برای خطا بررسی کنیم
اشتباهات Robots.txt می توانند نسبتاً به راحتی از شبکه عبور کنند، بنابراین توجه به مشکلات مفید است.

برای انجام این کار، به طور مرتب مشکلات مربوط به robots.txt را در گزارش «پوشش» در Search Console بررسی کنید. در زیر برخی از خطاهایی که ممکن است مشاهده کنید، معنی آنها و نحوه رفع آنها آورده شده است.

آیا باید خطاهای مربوط به یک صفحه خاص را بررسی کنید؟
یک URL را در ابزار بازرسی URL گوگل در کنسول جستجو جای‌گذاری کنید. اگر توسط robots.txt مسدود شده باشد، باید چیزی شبیه به این را ببینید:

توسط روبات txt  مسدود شده است

URL ارسال شده توسط robots.txt مسدود شده است
آدرس اینترنتی ارسال شده توسط روبات ها مسدود شده است 3

این بدان معناست که حداقل یکی از URL های موجود در نقشه(های) سایت ارسالی شما توسط robots.txt مسدود شده است.

اگر نقشه سایت خود را به درستی ایجاد کرده اید و صفحات متعارف ، بدون فهرست و هدایت شده را حذف کرده اید، هیچ صفحه ارسالی نباید توسط robots.txt مسدود شود . اگر چنین هستند، بررسی کنید که کدام صفحات تحت تأثیر قرار گرفته اند، سپس فایل robots.txt خود را بر اساس آن تنظیم کنید تا بلوک آن صفحه حذف شود.

می‌توانید از آزمایش‌کننده robots.txt Google استفاده کنید تا ببینید کدام دستورالعمل محتوا را مسدود می‌کند. فقط هنگام انجام این کار مراقب باشید. مرتکب اشتباهاتی که صفحات و فایل های دیگر را تحت تاثیر قرار می دهد آسان است.

 

توسط robots.txt مسدود شده است

این بدان معناست که شما محتوای مسدود شده توسط robots.txt دارید که در حال حاضر در Google فهرست نشده است.

اگر این محتوا مهم است و باید ایندکس شود، بلوک خزیدن را در robots.txt حذف کنید. (همچنین ارزش این را دارد که مطمئن شوید که محتوا بدون فهرست نیست). اگر محتوایی را در robots.txt به قصد حذف آن از فهرست Google مسدود کرده‌اید، بلوک خزیدن را حذف کنید و به جای آن از متا تگ robots یا x-robots-header استفاده کنید. این تنها راه برای تضمین حذف محتوا از فهرست گوگل است.

حذف بلوک خزیدن هنگام تلاش برای حذف یک صفحه از نتایج جستجو بسیار مهم است. این کار را انجام ندهید، و گوگل تگ noindex یا هدر HTTP را نمی بیند—بنابراین ایندکس می شود.
ایندکس شده، اگرچه توسط robots.txt مسدود شده است
ایندکس شده هر چند مسدود شده 3

این بدان معناست که برخی از محتوای مسدود شده توسط robots.txt همچنان در گوگل ایندکس می شوند.

بار دیگر، اگر می‌خواهید این محتوا را از نتایج جستجوی Google حذف کنید، robots.txt راه‌حل درستی نیست. بلوک خزیدن را بردارید و به جای آن از یک تگ متا روبات یا هدر HTTP تگ x-robots برای جلوگیری از نمایه سازی استفاده کنید.

اگر به طور تصادفی این محتوا را مسدود کرده اید و می خواهید آن را در فهرست گوگل نگه دارید، بلوک خزیدن را در robots.txt حذف کنید. این ممکن است به بهبود دید محتوا در جستجوی Google کمک کند.

مطالعه توصیه شده: نحوه رفع «ایندکس شده، هرچند مسدود شده توسط robots.txt» در GSC

سوالات متداول
در اینجا چند سؤال متداول وجود دارد که به طور طبیعی در جای دیگر راهنمای ما نمی گنجد. اگر موردی از دست رفته است، در نظرات به ما اطلاع دهید و ما بخش را متناسب با آن به روز خواهیم کرد.

حداکثر اندازه یک فایل robots.txt چقدر است؟
500 کیلوبایت (تقریبا).

robots.txt در وردپرس کجاست؟
همان مکان: domain.com/robots.txt .

چگونه robots.txt را در وردپرس ویرایش کنم؟
یا به صورت دستی یا با استفاده از یکی از بسیاری از افزونه های SEO وردپرس مانند Yoast که به شما امکان می دهد robots.txt را از باطن وردپرس ویرایش کنید.

چه اتفاقی می‌افتد اگر دسترسی به محتوای بدون فهرست شده در robots.txt را ممنوع کنم؟
گوگل هرگز دستورالعمل noindex را نخواهد دید زیرا نمی تواند صفحه را بخزد.

مسدود کردن DYK یک صفحه با هر دو غیر مجاز robots.txt و noindex در صفحه چندان منطقی نیست زیرا Googlebot نمی تواند noindex را «ببیند»؟