Скрипт проверки PR

Статус
В этой теме нельзя размещать новые ответы.
Вот и закончил скрипт работу, была прогнана база на 300MB, линков сколько что то провтыкал посмотреть, да и не нужно мне это, справился скрипт с работой за 3 с хреном суток (помаленьку ну нет решения лутше пока), а на счет того чтоб дубли так вот такой командой под юниксами - sort -u -o output_file input_file , а на ПР этим скриптом, вот и все!
 
To Vlam : Респект за скриптик, новой версии не предвидится? Хотелось бы потоков для скорости :)
 
а не подскажите, чего не хватает:
Can't locate WWW/Google/PageRank.pm in @INC (@INC contains: /usr/lib/perl5/site_perl/5.8.6/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.5/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.4/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.3/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.6 /usr/lib/perl5/site_perl/5.8.5 /usr/lib/perl5/site_perl/5.8.4 /usr/lib/perl5/site_perl/5.8.3 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.6/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.5/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.4/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.3/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.6 /usr/lib/perl5/vendor_perl/5.8.5 /usr/lib/perl5/vendor_perl/5.8.4 /usr/lib/perl5/vendor_perl/5.8.3 /usr/lib/perl5/vendor_perl /usr/lib/perl5/5.8.6/i386-linux-thread-multi /usr/lib/perl5/5.8.6 .) at ./pr.pl line 3.
BEGIN failed--compilation aborted at ./pr.pl line 3.

где взять PageRank.pm ?

Добавлено через 6 минут
а, разобрался уже, спасибо
 
Ну и как успехи?
Требуется скрипт для удаления дублей и сортировки по PR базок в 15-20kk. Кто что посоветует?

Очень рекомендую скрипт Base Editor:
(пароль тот же;))
 

Вложения

  • BaseEditor.zip
    10,9 KB · Просмотры: 53
BaseEditor - это жоржа сороса с кликфорума? Дезендели что-ли? :D
 
BaseEditor - это жоржа сороса с кликфорума? Дезендели что-ли? :D

Ты конструктивное пиши, не то забанят.
А чтоб не задавал таких глупых вопросов, скачай и запусти. Там на главной странице подпись и аська разработчика.
 
Очень рекомендую скрипт Base Editor:
(пароль тот же;))
Его выкладывали уже тут и не 1 раз. Для просмотра ссылки Войди или Зарегистрируйся
Сортировки по ПР нет.
Пока самый шустрый скрипт получения ПР базы - перловый выше постами. Перепробовал много, но базу в 1кк и больше "взял" только он. Десктопные Хрефер и другие - нервно курят.
 
Его выкладывали уже тут и не 1 раз. Для просмотра ссылки Войди или Зарегистрируйся
Сортировки по ПР нет.
Пока самый шустрый скрипт получения ПР базы - перловый выше постами. Перепробовал много, но базу в 1кк и больше "взял" только он. Десктопные Хрефер и другие - нервно курят.

Просил скрипт для удаления дублей - вот я его и выложил. Прекраснейший ведь скрипт для локалхоста :)

А ПР я проверяю встроенным в Хрефер модулем. Вот сейчас он чекает в среднем 17 links/s на 30 потоках. Учитывая, что база в 600К, чекать будет 9 часов. Долго мля. :(
 
он иногда никакие цифры не пишет, а при этом гостевая жива :(

Добавлено через 1 минуту
а baseeditor большие базы на обрабатывает, максимум вроде 30, или 40 метров. Фуфло короче.
 
Вот переделаная версия скрипта перловского, раскладывает каждый ПР в свой файл, те что ПР неопределен в треш файл, переделал не я а швагро мой, так что ему все спасибо!!!
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху