بگذارید با یک تصور اشتباه شروع کنم که در آدیتهای فنی سایت بارها با آن روبهرو شدهام:
خیلی از صاحبان سایت تصور میکنند هر خطای ۴۰۴ بهمعنای آسیب مستقیم به سئو است و باید همه آنها را به هر شکلی حذف کرد. اما واقعیت این است که وجود چند صفحه ۴۰۴ در هر سایتی طبیعی است و خود این خطا بهتنهایی باعث افت رتبه نمیشود.
مشکل زمانی شروع میشود که یک صفحه مهم، بدون بررسی رها شود؛ مثلا صفحهای که لینک داخلی دارد، از سایتهای دیگر بکلینک گرفته یا بخشی از ساختار سایت بوده است. در این شرایط، مسئله فقط یک خطای ۴۰۴ نیست؛ بلکه مسیر کاربر، خزش گوگل و سیگنالهای ارزشمند صفحه تحت تاثیر قرار میگیرد.
درواقع، مدیریت درست این خطاها بخشی از سئوی تکنیکال است که باید در کنار سایر بخشهای فنی سایت بررسی شود.
در این راهنما بررسی میکنیم خطای ۴۰۴ دقیقا چیست، چه زمانی نیاز به رفع دارد، چه تفاوتی با Soft 404 و ۴۱۰ دارد و چطور باید برای هر صفحه تصمیم درست گرفت؛ چون در مدیریت خطاهای سایت، رفع کردن همه چیز همیشه به معنی حل کردن مشکل نیست.
خطای ۴۰۴ چیست؟
خطای ۴۰۴ (404 Not Found) یک کد وضعیت HTTP است که یعنی: مرورگر با موفقیت به سایت وصل شده، اما صفحهی خاصی که دنبالش بوده وجود ندارد. به این حالت «لینک شکسته» یا «صفحهی از دست رفته» هم میگویند.
این خطا معمولا به این دلایل رخ میدهد:
- صفحهای حذف یا جابهجا شده و ریدایرکت نخورده است.
- در آدرس لینک، غلط تایپی وجود دارد.
- سایت بازسازی شده و بعضی آدرسها دیگر معتبر نیستند.
- لینکی از سایت دیگر به صفحهای اشاره میکند که دیگر وجود ندارد.
آیا خطای ۴۰۴ به سئو آسیب میزند؟
گوگل بهصراحت اعلام کرده که خطاهای ۴۰۴ بهخودیخود رتبه را مستقیما پایین نمیآورند.
وجود تعدادی صفحه ۴۰۴ در هر سایتی طبیعی است و بهتنهایی باعث جریمه نمیشود. اما این به این معنی نیست که باید ۴۰۴ها را نادیده گرفت، چون میتوانند اثرات غیرمستقیم روی سایت داشته باشند:
- لینک داخلی شکسته: یکی از مهمترین موارد برای بررسی است. وقتی صفحهای از سایت شما به یک ۴۰۴ لینک میدهد، هم تجربه کاربر آسیب میبیند، هم مسیر خزش گوگل دچار مشکل میشود و هم جریان اعتبار بین صفحات بهدرستی منتقل نمیشود.
- از دست رفتن اعتبار بکلینک: اگر صفحهای که بکلینکهای ارزشمند دارد به خطای ۴۰۴ برسد، سیگنالها و اعتباری که آن صفحه طی زمان ساخته بود، دیگر به شکل درست استفاده نمیشود.
- سیگنال بینظمی به گوگل: تعداد زیاد ۴۰۴ بهتنهایی باعث جریمه نمیشود، اما میتواند نشاندهنده ضعف در مدیریت ساختار سایت باشد و روی برداشت کلی گوگل از وضعیت نگهداری سایت اثر بگذارد.
خلاصهی مهم: خطای ۴۰۴ برای صفحهای که واقعا حذف شده و لینکی به آن نیست، اصلا مشکل نیست. مشکل واقعی، لینکهای شکستهی داخلی و ۴۰۴ شدن صفحات مهم دارای بکلینک است. تمرکزتان را بگذارید روی اینها، نه روی ترس از هر ۴۰۴
Soft 404: خطای پنهانی که باید بشناسید
اینجا یک مفهوم مهم دیگر وجود دارد که باید در بررسی خطاهای ۴۰۴ به آن توجه کنید: Soft 404.
Soft 404 یعنی صفحهای که به کاربر پیام «این صفحه یافت نشد» یا «محتوا وجود ندارد» نشان میدهد، اما بهجای کد ۴۰۴، کد ۲۰۰ (موفق) را به گوگل برمیگرداند. این یک سیگنال متناقض ایجاد میکند؛ صفحه از نظر محتوا نشان میدهد که چیزی برای ارائه ندارد، اما سرور اعلام میکند که درخواست با موفقیت انجام شده است.
چرا این موضوع اهمیت دارد؟ چون گوگل ممکن است برای پردازش این صفحات زمان صرف کند، بودجه خزش روی URLهای کمارزش مصرف شود و حتی این صفحات در شرایطی وارد ایندکس شوند. محتوای نازک (Thin Content) و صفحاتی که فقط پیام «بهزودی» نمایش میدهند هم معمولا میتوانند باعث ایجاد Soft 404 شوند.
راهحل Soft 404: یا صفحه را با محتوای واقعی و ارزشمند کامل کنید، یا اگر صفحه واقعا قرار نیست وجود داشته باشد، مطمئن شوید کد وضعیت درست (۴۰۴ یا ۴۱۰) برمیگردد.
تفاوت ۴۰۴ و ۴۱۰
یک نکته مهم دیگر که در زمان حذف صفحات باید در نظر بگیرید:
- ۴۰۴ (Not Found): صفحه پیدا نشد؛ اما شاید موقتی باشد یا بعدا برگردد.
- ۴۱۰ (Gone): صفحه برای همیشه حذف شده و قرار نیست برگردد.
وقتی محتوایی را عمدا و دائمی حذف میکنید و جایگزینی هم ندارد، کد ۴۱۰ سیگنال واضحتری به گوگل میدهد و کمک میکند سریعتر آن را از ایندکس خارج کند.
چطور لینکهای شکسته و ۴۰۴ را پیدا کنیم؟
چند ابزار معتبر:
- Google Search Console: در گزارش صفحات (Pages)، بخش «یافت نشد (۴۰۴)» و «Soft 404» را چک کنید. این ۴۰۴هایی است که خودِ گوگل کشف کرده و مهمترینهاست.
- ابزارهای خزش (مثل Screaming Frog): کل سایت را میخزند و همهی لینکهای شکستهی داخلی و خارجی را فهرست میکنند.
- ابزارهای بررسی بکلینک: برای پیدا کردن بکلینکهای شکسته (لینکهایی از سایتهای دیگر به صفحات حذفشدهی شما).
چطور ۴۰۴ها را درست رفع کنیم؟ (و چه اشتباهاتی نکنیم)
اینجا مهمترین بخش کار است. رفع درست ۴۰۴ یعنی برای هر مورد، تصمیم درست بگیرید:
تصمیمهای درست:
- اگر صفحه به آدرس جدید منتقل شده: ریدایرکت ۳۰۱ به آدرس جدید بزنید.
- اگر صفحه حذف شده ولی جایگزین مرتبط دارد: ریدایرکت ۳۰۱ به مرتبطترین صفحه بزنید.
- اگر لینک داخلی غلط تایپی دارد: خود لینک را در محتوا اصلاح کنید (نه اینکه ریدایرکت بزنید).
- اگر صفحه واقعا حذف شده و جایگزینی ندارد: بگذارید ۴۰۴ (یا ۴۱۰) برگرداند. این کاملا درست است.
اشتباهاتی که نباید بکنید:
- ریدایرکت همهی ۴۰۴ها به صفحهی اصلی: گوگل صراحتا میگوید این کار را نکنید. ریدایرکت انبوه صفحات نامرتبط به صفحهی اصلی، خودش Soft 404 میسازد و ساختار سایت را برای گوگل مبهم میکند. هر ۴۰۴ باید به مرتبط ترین صفحه برود، نه کورکورانه به خانه.
- بلاک کردن ۴۰۴ها با robots.txt: این هم اشتباه است. گوگل میگوید صفحات ۴۰۴ را در robots.txt مسدود نکنید، چون فهمیدن ساختار سایت را برایش سختتر میکند.
- تلاش برای رفع تکتک ۴۰۴ها: لازم نیست. همهی ۴۰۴ها ارزش رفع ندارند.
اولویتبندی کنید:
- اول ۴۰۴هایی که بکلینک دارند.
- بعد آنهایی که لینک داخلی به آنها اشاره میکند.
- و بعد آنهایی که ترافیک تاریخی داشتهاند.
یک صفحهی ۴۰۴ خوب بسازید
حتی با نگهداری درست سایت، گاهی کاربر به یک صفحه ۴۰۴ میرسد. یک صفحه ۴۰۴ سفارشی و درست میتواند این تجربه نامناسب را بهتر مدیریت کند. یک صفحه ۴۰۴ مناسب:
- پیام واضح و دوستانهای دارد که میگوید صفحه پیدا نشد.
- لینک به صفحهی اصلی و بخشهای مهم سایت دارد.
- یک نوار جستجو دارد تا کاربر بتواند چیزی که میخواهد را پیدا کند.
- کد وضعیت درستش (۴۰۴) را برمیگرداند (نه ۲۰۰!).
سخن آخر
خطای ۴۰۴ بهخودیخود نگرانکننده نیست؛ چیزی که اهمیت دارد، نحوه مدیریت آن است. کلید کار این است که برای هر صفحه، بر اساس وضعیت واقعی آن تصمیم درست گرفته شود.
مهمترین چیزهایی که باید با خودتان ببرید:
- خود ۴۰۴ رتبه را مستقیما خراب نمیکند؛ لینک داخلی شکسته و ۴۰۴ شدن صفحات دارای بکلینک مشکلسازند.
- مراقب Soft 404 باشید (صفحهی خالی که کد ۲۰۰ برمیگرداند).
- ۴۰۴ها را کورکورانه به صفحهی اصلی ریدایرکت نکنید و با robots.txt بلاکشان نکنید.
- اولویتبندی کنید: اول ۴۰۴های دارای بکلینک و لینک داخلی.
اگر مطمئن نیستید سایتتان لینکهای شکستهی پنهان یا Soft 404 دارد، این دقیقا یکی از مواردی است که در یک ممیزی فنی دقیق بررسی میکنیم.
سوالات متداول
آیا خطای ۴۰۴ به سئوی سایت آسیب میزند؟
خودِ ۴۰۴ مستقیما رتبه را پایین نمیآورد. اما لینکهای داخلی شکسته و ۴۰۴ شدن صفحات دارای بکلینک، اثر غیرمستقیم منفی دارند و باید رفع شوند.
Soft 404 چیست؟
صفحهای که به کاربر پیام «یافت نشد» نشان میدهد اما کد ۲۰۰ (موفق) به گوگل برمیگرداند. این سیگنال متناقض است و باید یا محتوای صفحه کامل شود یا کد درست (۴۰۴/۴۱۰) برگردانده شود.
آیا باید همهی ۴۰۴ها را به صفحهی اصلی ریدایرکت کنم؟
خیر. گوگل میگوید این کار را نکنید؛ باعث Soft 404 میشود. هر صفحه را فقط به مرتبطترین صفحه ریدایرکت کنید و اگر جایگزین مرتبطی نیست، بگذارید ۴۰۴ بماند.
تفاوت ۴۰۴ و ۴۱۰ چیست؟
۴۰۴ یعنی صفحه پیدا نشد (شاید موقت). ۴۱۰ یعنی صفحه برای همیشه حذف شده. برای حذف دائمی، ۴۱۰ سیگنال واضحتری به گوگل میدهد.
آیا باید تکتک ۴۰۴ها را رفع کنم؟
خیر، لازم نیست. اولویتبندی کنید: اول ۴۰۴هایی که بکلینک دارند یا لینک داخلی به آنها اشاره میکند یا ترافیک داشتهاند. بقیهی ۴۰۴های واقعی اشکالی ندارند.
