Очень хорошую штуку сделали товарищи из яндекса 1.5 месяца назад- ссылочка.
Например есть у вас форум где ссылки на страницы с темами регулярно меняются, примерно так:
www.site.ru/forum_old/showthread.php?s=91273698273664&t=111&ref=14751
www.site.ru/forum_new/showthread.php?s=43567234597456&t=111&ref=35258
В данном случае вы можете указать в robots.txt
User-agent: Yandex
Disallow:
Clean-param: s&ref /forum*/showthread.php
Тогда яндекс будет из кучи страниц с этими параметрами сохранять одну.
Комментарии: