Что пишут в robots.txt, чтобы спрятать sape-ссылки?

Тема в разделе "Тех. вопросы", создана пользователем Hmury, 20 июл 2010.

Статус темы:
Закрыта.
  1. Hmury

    Hmury

    Регистр.:
    6 мар 2008
    Сообщения:
    256
    Симпатии:
    55
    Подскажите, сам никогда ссылки не продавал, только покупал )
    Поэтому не знаю, каким образом они в сайт интегрируются, но наверняка есть какой-то общий код?..
    В общем, суть вопроса - в шестом Allsubmitter'е в модуле "Анализатор бирж ссылок" в фильтрах появилась возможность также отфильтровывать плохие ссылки по содержимому robots.txt. Я так понимаю, что видимо есть умельцы, которые сапо-код закрывают в роботс, и это таким образом можно выявить.
    Но какие характерные куски ссылок надо искать в роботсе?
     
  2. kpromo

    kpromo Постоялец

    Регистр.:
    8 май 2010
    Сообщения:
    123
    Симпатии:
    14
    Скорее всего просто закрывают страницы от индексации. И робот туда никогда не зайдет и соответственно не проиндексирует.
     
  3. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    Думаю вряд ли так, тогда бы ссылки было бы еще проще отфильтровать просто на индексируемость. Думаю каждый кто с сапой работает, проверяет чтобы ссылки были в индексе. И делать такое безсмысленно, так как через пару дней ссылки снимут.
    Там должно быть что то другое.
     
  4. Sergo_Sev

    Sergo_Sev Творец

    Регистр.:
    14 июн 2008
    Сообщения:
    571
    Симпатии:
    188
    Тоже думаю, что скорее всего каталоги закрывают в robots, вряд ли в нем что то можно намудрить что бы прятать продажные ссылки - прячут их скриптами обычно
     
  5. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    А как можно закрыть код сапы в роботс, ведь для каждого юзера выдаётся свой уникальный код для названия папки кода, которы нельзя подобрать?
     
  6. Допельгангер

    Допельгангер Создатель

    Регистр.:
    26 ноя 2009
    Сообщения:
    19
    Симпатии:
    0
    его не закрыть. Только если покупаемую страницу закрывать в робот тхт
     
  7. Alex-xv

    Alex-xv Постоялец

    Регистр.:
    10 июл 2009
    Сообщения:
    110
    Симпатии:
    5
    Закрыть ссылки можно ява скриптом, хотя если строить долгосрочные отношения с оптимизаторами которые у Вас ссылки покупают то я думаю не стоит, опять же мигание внешних ссылок не к чему хорошему не приведет
     
  8. metacreo

    metacreo Писатель

    Регистр.:
    9 сен 2009
    Сообщения:
    6
    Симпатии:
    0
    кроме
    UserAgent
    Allow
    Disallow
    Host
    ничего не пишут
     
  9. sens08

    sens08 Постоялец

    Регистр.:
    13 авг 2009
    Сообщения:
    112
    Симпатии:
    22
    Если и закрыть от индексации в роботсе, то сапобот начнет материться и вы ни чего не заработаете.
     
  10. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    437
    вообщето пишут не в rrobots а в htacsess -- редирект с урлов, содержащих гет параметры, на те же урлы, БЕЗ гет параметров
     
Статус темы:
Закрыта.