Что пишут в robots.txt, чтобы спрятать sape-ссылки?

Статус
В этой теме нельзя размещать новые ответы.

Hmury

Гуру форума
Регистрация
6 Мар 2008
Сообщения
255
Реакции
55
Подскажите, сам никогда ссылки не продавал, только покупал )
Поэтому не знаю, каким образом они в сайт интегрируются, но наверняка есть какой-то общий код?..
В общем, суть вопроса - в шестом Allsubmitter'е в модуле "Анализатор бирж ссылок" в фильтрах появилась возможность также отфильтровывать плохие ссылки по содержимому robots.txt. Я так понимаю, что видимо есть умельцы, которые сапо-код закрывают в роботс, и это таким образом можно выявить.
Но какие характерные куски ссылок надо искать в роботсе?
 
Скорее всего просто закрывают страницы от индексации. И робот туда никогда не зайдет и соответственно не проиндексирует.
 
Скорее всего просто закрывают страницы от индексации. И робот туда никогда не зайдет и соответственно не проиндексирует.
Думаю вряд ли так, тогда бы ссылки было бы еще проще отфильтровать просто на индексируемость. Думаю каждый кто с сапой работает, проверяет чтобы ссылки были в индексе. И делать такое безсмысленно, так как через пару дней ссылки снимут.
Там должно быть что то другое.
 
Тоже думаю, что скорее всего каталоги закрывают в robots, вряд ли в нем что то можно намудрить что бы прятать продажные ссылки - прячут их скриптами обычно
 
А как можно закрыть код сапы в роботс, ведь для каждого юзера выдаётся свой уникальный код для названия папки кода, которы нельзя подобрать?
 
его не закрыть. Только если покупаемую страницу закрывать в робот тхт
 
Закрыть ссылки можно ява скриптом, хотя если строить долгосрочные отношения с оптимизаторами которые у Вас ссылки покупают то я думаю не стоит, опять же мигание внешних ссылок не к чему хорошему не приведет
 
кроме
UserAgent
Allow
Disallow
Host
ничего не пишут
 
Если и закрыть от индексации в роботсе, то сапобот начнет материться и вы ни чего не заработаете.
 
вообщето пишут не в rrobots а в htacsess -- редирект с урлов, содержащих гет параметры, на те же урлы, БЕЗ гет параметров
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху