Составление баз для прогонов

[b7186]

Недавний апдейт тиц помог найти кучку молодых сайтов, у которых тиц нарастили при помощи прогонов по профилям. Решил попробовать создать базу для прогона, но столкнулся с одной неприятностью - как свести в одну базу всех доноров и не на создавать дублей? Допустим спарсил беки у одного сайта, отфильтровал их, убрал сайты с которых ссылки закрыты от поисковиков, спарсил ссылки второго сайта, с ним быть как? Ведь часть доноров полюбому пересечется, как их эффективнее всего филтровать?

Если спросил что-то уже совсем запредельное и такие вещи не палят - извиняйте.

 

[Grigirij]

найди тут ломаный альсабмиттер и добавляй туда свои базы, там при добавлении можно устанавливать типо недобавлять дубликаты ссылок и дубликаты доменов.

ещё ак вариант можешь все ссылки обрезать до домена и добавить их в любой чекер ключевых слов и прочекать на дубли например KWK

 

[b7186]

Мне ломанные не нужен, есть лицензия, но не суть. С аллсабом не очень удобно в этом плане работать. Но это все не очень удобно как то Может еще варианты есть?

 

[vladis1333]

Отфильтровать дубли можно программой ReDoubler

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Gorev]

Недавний апдейт тиц помог найти кучку молодых сайтов, у которых тиц нарастили при помощи прогонов по профилям. Решил попробовать создать базу для прогона, но столкнулся с одной неприятностью - как свести в одну базу всех доноров и не на создавать дублей? Допустим спарсил беки у одного сайта, отфильтровал их, убрал сайты с которых ссылки закрыты от поисковиков, спарсил ссылки второго сайта, с ним быть как? Ведь часть доноров полюбому пересечется, как их эффективнее всего филтровать?

Если спросил что-то уже совсем запредельное и такие вещи не палят - извиняйте.

Ты какими прогами пользуешься для этого?
Для удаления дублей и прочей полезной работы с массивом ссылок отлично подходит xrumer.

 

[Menro]

По мне, Allsubmiter в этом смысле самый удобный вариант. Импортировал ссылки (если нужно, разнес их по категориям), а потом снимай все показатели доноров, исключая мертвые (не проиндексированные) доноры. Я думаю, что ТС загнался