прочекать большую базу

Статус
В этой теме нельзя размещать новые ответы.

ZavodiJIo

Постоялец
Регистрация
26 Авг 2008
Сообщения
123
Реакции
2
нужно прочекать большую базу с линками под спам. Прочекать на пр и тиц. Аллсабом пользоваться неудобно, ибо он очень медленно работает с базами ( да и сам по себе не быстро) ищу софт, который сможет относительно быстро прочекать базу размером в 120к урлов. Заранее спасибо
 
прочекай ее вначале на живучесть (200 ok), а потом на пробив (именно твоей версией) Хрумером, и уже после то что останется (10-15к) YCCA

ps на пр нельзя быстро чекнуть, гугл забанит по айпишнику
 
Довольно интересный алгоритм. Пожалуй так и поступлю, только не понял что за 200 ok ?
 
Довольно интересный алгоритм. Пожалуй так и поступлю, только не понял что за 200 ok ?

200 ок ответ сервера о доступности, говорит о том что ссылак еще живая
много прог это делает здесь эти темы не раз поднимались
я склоняюсь к Xenu (меньше всего ошибок)
 
Попробовал, работает довольно скверно и медленно. Грузил мою базу минут 15, чекала за час около 1к ссылок, такая скорость меня не устраивает увы. Скорее всего буду сразу хрумером проверять %)
 
Попробовал, работает довольно скверно и медленно. Грузил мою базу минут 15, чекала за час около 1к ссылок, такая скорость меня не устраивает увы. Скорее всего буду сразу хрумером проверять %)
неправильная настройка за 2-3 часа проходит порядка 15-20к ссылок
видимо в настройках указал проверять не только доступность сервера
 
В Хрефере есть чекалка на пр, работает быстро.
Еще вот тут есть прога
 
насколько мне извесно хрефер до сих пор не взломан, если я не прав, пожалуйста, дайте линк на софт.
 
Я чекаю агресс парсером. Вроде скорость нормальная.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху