چگونه میتوانیم ایندکس شدن صفحات سایت را در گوگل سرعت ببخشیم

اگر گوگل وب سایت شما را ایندکس نمی کند، باید به این نتیجه برسید که تقریبا نامرئی شده اید. به این معنی که برای هیچ کلید واژه ای نمایش داده نمی شوید و هیچ ترافیک ارگانیکی دریافت نمی کنید. با توجه به اینکه مبحث ایندکس شدن صفحات سایت را انتخاب کرده اید، حدس می زنیم با چنین مشکلی مواجه شده و یا از آن بی اطلاع هستید. پس با ما همراه باشید تا بدانید چرا کل وب سایت شما ایندکس نشده یا برخی از صفحات شما ایندکس می شوند، اما برخی دیگر خیر.

منظور از دنبال کردن، نمایه سازی و رتبه بندی چیست؟

برای درک مبحث پیش رو باید سه کلیدواژه مهم را با هم بررسی کنیم. هر صفحه ای که توسط گوگل کشف می شود، فرایند مشابهی را طی می کند که شامل دنبال کردن (Crawling)، فهرست بندی (Indexing) و رتبه بندی (Ranking) می شود. با این وصف ابتدا، گوگل صفحه شما را دنبال می کند تا ببیند آیا ارزش درج در فهرست آن را دارد یا خیر.

۱۰ دلیل برای اینکه سایت شما در گوگل رتبه نمیگیرد

پس از آن با فرض اینکه صفحه شما اولین ارزیابی ها را پشت سر گذاشته، Google صفحه را در فهرست پایگاه داده طبقه بندی شده خود قرار می دهد و در نهایت شما را رتبه بندی می کند. اینجاست که گوگل شما را در نتایج پرس و جو مخاطبان نشان خواهد داد. در حالی که خواندن مطالب ذکر شده تا الان ممکن است چند ثانیه طول بکشد، گوگل کل این فرایند را در کمتر از یک میلی ثانیه انجام می دهد. اما این مسیر به ظاهر سرراست همیشه با همین موفقیت پیش نمی رود. به این معنی که احتمالا با چالش و یا موانعی روبرو می شوید و ایندکس شدن صفحات سایت شما دچار مشکل می شوند.

چرا گوگل ایندکس شدن صفحات سایت را رد می کند؟

دلایل زیادی وجود دارد که گوگل صفحات وب شما را ایندکس نمی کند. همان طور که می دانید، نمایه سازی وب یک رتبه بندی موتور جستجو سه مرحله ای است. با توجه به مراحل سه گانه ای که تشریح کردیم، باید اهمیت ایندکس شدن را به خوبی درک کرده باشید. اجازه دهید به طور مختصر دلایل ایندکس نشدن سایت را با هم بررسی کنیم تا زمان تبیین راهکارها دید واضحی به موضوع داشته باشید.

1.    شما وبلاگ خود را به طور منظم به روز نمی کنید.(منظور از به روز نگهداشتن سایت چیست؟)
2.    گوگل وبلاگ شما را جریمه کرده است.
3.    خزنده های وب خطاهای زیادی را پیدا می کنند.
4.    ربات ها نمی توانند صفحات وب شما را ایندکس کنند.
5.    بک لینک های با کیفیت خوب برای اشاره به صفحات وب نساخته اید.
6.    استراتژی های لینک دهی شما ضعیف است.(استراتژی لینک سازی داخلی برای سئو و نرخ تبدیل)
7.    صفحات حذف شده و یا به اصطلاح مرده اند.(زامبی پیج چیست؟)

مهارت های کلیدی سئو 2023 برای موفقیت بیشتر

راهکارهای ایندکس شدن صفحات سایت

با توجه به موارد ذکر شده در بخش قبلی حتما می توانید بخشی از راهکارهای مهم را به راحتی حدس بزنید. اجازه دهید ما هم چند راهکار مناسب را به شما معرفی کنیم. اگر متوجه شدید که ایندکس شدن صفحات سایت یا یک صفحه مشخص از سایت دچار مشکل شده است، روش زیر را پیش بگیرید.

•    وارد سرچ کنسول گوگل شوید.
•    به ابزار بازرسی URL بروید.
•    نشانی اینترنتی را که می خواهید Google آن را ایندکس کند در نوار جستجو جای گذاری کنید.
•    چند لحظه منتظر باشید تا گوگل URL مورد نظر را بررسی کند.
•    روی دکمه «درخواست نمایه سازی یا همان Request indexing» کلیک کنید

این فرایند را هر زمانی که یک پست یا صفحه جدید منتشر می کنید، انجام دهید. در واقع با این کار به گوگل گفته اید که مطلب جدیدی به سایت خود اضافه کرده اید و حالا وقت آن است که آن را بررسی کند. اگر با در پیش گرفتن این مسیر هم مشکلات پیش روی شما را رفع نکرد می توانید از موارد زیر استفاده کنید.

1.    بلوک های خزنده را در فایل robots.txt خود حذف کنید
اگر گوگل کل وب سایت شما را ایندکس نمی کند، ممکن است به این دلیل باشد که خزنده های وب مانعی فایل robots.txt داشته باشند. برای بررسی و رفع این مشکل، از آدرس yourdomain.com/robots.txt استفاده کرده و به دنبال هر یک از این کدها زیر باشید:


هر دوی این موارد به Googlebot پیام می دهند که برای دنبال کردن هیچ صفحه ای در سایت شما مجاز نیست. برای رفع مشکل، باید این کدها را حذف کنید. همچنین اگر مشکل ایندکس شدن صفحات سایت تنها به یک صفحه مربوط می شود، یک بلوک خزنده در robots.txt نیز می تواند دلیل آن باشد. برای بررسی اینکه آیا این مشکل اصلی شما است یا خیر، URL را در ابزار بازرسی URL در سرچ کنسول قرار دهید. روی بلوک Coverage کلیک کنید تا جزئیات بیشتر به شما نشان داده شود؛ سپس به دنبال پیغام «Crawl allowed? No: blocked by robots.txt» باشید. این گزینه نشان می دهد که صفحه در robots.txt مسدود شده است. اگر این طور است، فایل robots.txt خود را برای پیدا کردن هرگونه دستور «disallow» مربوط به آن صفحه دوباره بررسی کنید.

2.    برچسب های noindex را حذف کنید
گرچه این تگ ها برای خصوصی نگه داشتن برخی از صفحات وب مفید هستند؛ اما اگر مانعی برای ایندکس شدن صفحات سایت به وجود می آورند باید به دو روش زیر آنها را بررسی کرد.

•    روش 1: متا تگ
صفحاتی که هر کدام از این متا تگ ها را در بخشخود دارند توسط Google ایندکس نمی شوند:این موارد هر کدام یک تگ متا روبات هستند و به موتورهای جستجو می گوید که آیا می توانند صفحه را ایندکس کنند یا خیر. برای یافتن صفحاتی که متا تگ noindex دارند، باید از سایت Ahrefs' Site Audit استفاده کرده و از گوگل بخواهید یک بار دیگر شما را دنبال کند. در این سایت بعد از وارد کردن آدرس سایت / صفحه خود به بخش گزارش Indexability بروید. به دنبال هشدارهای «Noindex page » باشید. برای دیدن همه صفحات آسیب دیده می توانید روی آن کلیک کنید. متا تگ noindex را از هر صفحه ای که به آن تعلق ندارد، حذف کنید.

•    روش 2:X-Robots-Tag

خزنده ها همچنین به پیغام HTTP X-Robots-Tag احترام می گذارند. شما می توانید این پیام را با استفاده از یک زبان برنامه نویسی در سروری مانند PHP یا در فایل htaccess. خود یا با تغییر پیکربندی سرور پیاده سازی کنید. ابزار بازرسی URL در سرچ کنسول به شما می گوید که آیا Google عدم ایندکس شدن صفحات سایت را با این دلیل در نظر گرفته است یا خیر. برای بررسی آن کافی است فقط URL خود را وارد کنید، سپس به دنبال عبارت «Indexing allowed? No: ‘noindex’ detected in ‘X-Robots-Tag’ http heade» باشید. اگر قصد دارید این نوع مشکل را در تمام صفحات سایت بررسی کنید، باید آدرس اصلی سایت را در نوار جستجوی Ahrefs اجرا کنید. بعد از آن با استفاده از فیلتر «Robots information in HTTP header» در صفحه ها جستجو کنید. همچنین می توانید به برنامه نویس خود بگویید صفحاتی که می خواهید ایندکس شوند را از جستجوی این هدر حذف کند.

•    روش 3:لینک های داخلی nofollow را حذف کنید

 لینک های Nofollow لینک هایی با برچسب rel=nofollow هستند که مانع انتقال رتبه یک صفحه به URL مقصد، می شوند. گوگل همچنین لینک های nofollow را دریابی نمی کند. به گفته خود گوگل «استفاده از nofollow باعث می شود که پیوندهای هدف را از نمودار کلی وب خود حذف کنیم. با این حال، اگر سایت های دیگر بدون استفاده از لینک nofollow به آن صفحه پیوند دهند یا اگر URLها در نقشه سایت به Google ارسال شوند، ممکن است صفحات هدف همچنان در فهرست ما ظاهر شوند».

این پیام به ما می گوید، اطمینان داشته باشید که تمام لینک های داخلی به صفحات قابل بررسی اشاره دارند تا ایندکس شدن صفحات سایت به درستی انجام شود. برای انجام این کار، از ابزار جستجوی سایت Ahrefs برای خزیدن سایت خود استفاده کنید. گزارش لینک ها را برای صفحات قابل ایندکس با خطای «Page has nofollow incoming internal links only» تجزیه و تحلیل کنید. با این فرض که می خواهید گوگل صفحه را ایندکس کند، تگ nofollow را از این لینک های داخلی حذف کنید.

البته می تواند خود صفحه را حذف کرده یا آن را noindex کنید.جمع بندی مبحث ایندکس شدن صفحات سایتدر متن پیش رو سعی کردیم اهمیت ایندکس شدن صفحات سایت را برای شما تشریح کنیم. همچنین سه مورد از راهکارهایی که باعث می شوند در این روند سرعت بالایی داشته باشید را معرفی کردیم. توجه داشته باشید که بررسی دلایل ایندکس نشدن سایت هم مهم است.

در نتیجه با رفع 7 مورد تبیین شده در متن، برای ایندکس شدن سایت خود بیشترین تلاش را در نظر بگیرید.