прочекать большую базу

Тема в разделе "Вопросы новичков", создана пользователем ZavodiJIo, 27 мар 2009.

Статус темы:
Закрыта.
  1. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    нужно прочекать большую базу с линками под спам. Прочекать на пр и тиц. Аллсабом пользоваться неудобно, ибо он очень медленно работает с базами ( да и сам по себе не быстро) ищу софт, который сможет относительно быстро прочекать базу размером в 120к урлов. Заранее спасибо
     
  2. Piranha

    Piranha

    Регистр.:
    1 дек 2008
    Сообщения:
    534
    Симпатии:
    69
    прочекай ее вначале на живучесть (200 ok), а потом на пробив (именно твоей версией) Хрумером, и уже после то что останется (10-15к) YCCA

    ps на пр нельзя быстро чекнуть, гугл забанит по айпишнику
     
  3. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    Довольно интересный алгоритм. Пожалуй так и поступлю, только не понял что за 200 ok ?
     
  4. Piranha

    Piranha

    Регистр.:
    1 дек 2008
    Сообщения:
    534
    Симпатии:
    69
    200 ок ответ сервера о доступности, говорит о том что ссылак еще живая
    много прог это делает здесь эти темы не раз поднимались
    я склоняюсь к Xenu (меньше всего ошибок)
     
  5. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    Попробовал, работает довольно скверно и медленно. Грузил мою базу минут 15, чекала за час около 1к ссылок, такая скорость меня не устраивает увы. Скорее всего буду сразу хрумером проверять %)
     
  6. Piranha

    Piranha

    Регистр.:
    1 дек 2008
    Сообщения:
    534
    Симпатии:
    69
    неправильная настройка за 2-3 часа проходит порядка 15-20к ссылок
    видимо в настройках указал проверять не только доступность сервера
     
  7. olegmoe

    olegmoe Постоялец

    Регистр.:
    12 фев 2009
    Сообщения:
    98
    Симпатии:
    58
    В Хрефере есть чекалка на пр, работает быстро.
    Еще вот тут есть прога
    http://depositfiles.com/files/besm4qbk0
     
  8. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    насколько мне извесно хрефер до сих пор не взломан, если я не прав, пожалуйста, дайте линк на софт.
     
  9. olegmoe

    olegmoe Постоялец

    Регистр.:
    12 фев 2009
    Сообщения:
    98
    Симпатии:
    58
    Вообщето хрефер для проверки ПР ломать не надо.
    вот линк
    http://depositfiles.com/files/kjxmgpaaa
     
  10. dirak

    dirak Постоялец

    Регистр.:
    7 фев 2007
    Сообщения:
    107
    Симпатии:
    6
    Я чекаю агресс парсером. Вроде скорость нормальная.
     
Статус темы:
Закрыта.