بسیاری از ادمین ها و بلاگرها تصور می کنند که اگر یک متنی تولید کردند، برای آنکه متنشان توسط افراد بیشتری خوانده شود و ربات های جستجوگر گوگل را بیشتر جذب کنند، آن را در چندین نشانی دیگر کپی می کنند. حال آنکه امروزه باید بدانیم که حتا نشانی هایی که بعضا با www و همچنین بدون این 3 حرف، فعال هستند نیز در خطر جدی ایندکس نشدن و جریمه شدن هستند.

گوگل سخت تلاش می کند تا صفحاتی با اطلاعات متمایز از سایر صفحات وب، ایندکس کند و نشان دهد.

گوگل چندین راه برای پیشگیری از ایجاد لینکهای تکراری و همچنین راههایی جهت نشان دادن آنچه که شما می خواهید برایتان ایندکس شود را پیش پایتان می گذارد:

1. تلاش کنید تا لینکهای داخلی‏تان بدون نقص باشند. برای مثال به صفحاتی این چنینی لینک ندهید: http://www.example.com/page/  و  http://www.example.com/page and http://www.example.com/page/index.htm.
   
2. از وبمستر تولز برای آنکه به گوگل بگویید کدام قسمت از سایتتان را ایندکس کند استفاده کنید. شما می توانید به گوگل، دومین اصلی تان را معرفی کنید. برای مثال http://www.example.com or http://example.com).
   
3. کاربران از دیدن صفحات خالی خوششان نمی آید. پس تا جای ممکن از این اقدام جلوگیری نمایید. برای مثال: صفحاتی را که هنوز برای آن مطلبی ندارید، ایجاد و منتشر نکنید. اگر قصد ایجاد چنین صفحاتی را داشتید، از noindex meta tag جهت قفل نمودن این گونه صفحات از ایندکس شدن استفاده کنید. این بدین معناست که از کد nofollow و نظایر آن که در بسیاری از سی ام اس ها (که جدیدترین شان وردپرس است و به راحتی این کار را برای لینک ها انجام می دهد) تعریف شده، استفاده نمایید.

در موارد نادر، الگوریتم گوگل ممکن است یک URLی را از یک سایت انتخاب کند که در حال انتشار مطلب شما بدون اجازه تان است. اگر شما معتقدید که آن سایت در حالت کپی برداری مطلب شما بدون رعایت قوانین کپی رایت است، احتمالا باید با هاست سایت مربوطه تماس بگیرید و درخواست حذفش را بدهید. به علاوه، می توانید درخواست حذف آن صفح? خاص را از طریق صفح? "درخواست تکمیل فرم مخصوص به قوانین نقض شده" به گوگل بفرستید.

تمام این موارد برای حفاظت از حقوق افراد ذکر شد. اما چه اتفاقی برای سایتهایی که مطالب و محتوا و دسترنج دیگران را با یا بدون ذکر منبع (امروزه برای صفح? نتایج جستجوی گوگل تفاوتی نمی کند) بر روی سایت خودشان پیاده می کنند می افتد؟

پیش از اشاره به این مطلب باید دوباره خاطر نشان کرد که حتا صفحات داخلی یک سایت اگر مشابه هم نیز باشند، بر سئو و ایندکس سایتتان تاثیر خواهد گذاشت. به همین خاطر ابزار مختلفی را که وبمستر تولز در اختیار کاربران گذاشته نیز می توان بسیار کاربردی یافت. در این ارتباط در مقالات پیشین توضیحاتی را ارائه دادیم و در آینده نیز مقالاتی از این دست منتشر خواهد شد.

برویم سر بحث اصلی!

گوگل و رباتهای جستجوگرش پس ارائ? الگوریتم مرغ مگس خوار، دقت فراوانی در گشتن به دنبال اولین صفحه ای هستند که با توجه به زمان و تاریخ ایندکس شدن، مطلب را درج کرده است و باقی صفحات را از بخش نتایج جستجو حذف خواهند کرد. البته در صورت درخواست کاربر، گوگل می تواند صفحات تکراری را نیز نشان دهد اما در حالت عادی این صفحات برای گوگل فاقد ارزش و محتوا هستند.