Вопрос по массову чеку PR...

[ZVart]

Вообщем следующая трабла, думаю многие столкнулись... может кто-то нашел выход и подскажет...
С недавнего времени гугл отрабатывает ограниченное количество запросов на чек PR... Выдает PR примерно 2000 ресуросв, после чего в баню на некоторое время час-два точно не скажу...
Что пробовал?
1) пробовал выставить таймаут между запросами... например, чекаю 500 ресов потом таймаут, потом еще 500 ресов... постепенно увеличивал таймаут, дошел до 40 сек - результат - все равно в баню...
2) пробовал делать запросы на различные DC, например 500 на одном, потом 500 на другом... история та же самая, когда суммарно достигаем 2000 урлов - опять в баню, похоже общая база для всех DC...
3) еще несколько мелких эспериментов, описывать не буду, не критично...

Кто как чекает? Прошу различные ссылки на сервисы не выкладывать **х не нужны... Может кто скриптец подкинет, у меня перловый... идею брал где-то тут у Mamadu...

 

[paragvay]

к сожалению, скрипта нет нормального, но Allsubmitter с этим справляется припрекрасно, ни разу не банила гуля, чекал базу в 25К+, нет проблем, чекал всего в 3 потока и с задержкой. Может в этом дело? Может слишком много потоков ставишь? Если по трафу не очень напряжно, то попробуй Allsubmitter, там одновременно можно не только ПР, но и много разных полезностей чекать, как то: живучесть реса, наличие форм, тИЦ и т.д.

 

[ZVart]

к сожалению, скрипта нет нормального, но Allsubmitter с этим справляется припрекрасно, ни разу не банила гуля, чекал базу в 25К+, нет проблем, чекал всего в 3 потока и с задержкой. Может в этом дело? Может слишком много потоков ставишь? Если по трафу не очень напряжно, то попробуй Allsubmitter, там одновременно можно не только ПР, но и много разных полезностей чекать, как то: живучесть реса, наличие форм, тИЦ и т.д.

**х сабмитер, ай донт хэв виндоус... Когда последний раз чекал? Изменения произошли совсем недавно... Я думаю, из моего прошлого сообщения понятно, что в 1 поток я точно пробовал... а вот про таймаут давай подробнее, какая задержка у тебя стоит? задержка между чеком каждого урла или пачкой?

 

[ZVart]

А в чем проблемма через прокси чекать то?

Проблем несколько

1) во-первых, я писал что после чека 1.5-2к урлов на любом из датацентров (в том числе и суммарно) гугл отпарвляет в баню на несколько часов... следовательно, у меня есть база... например, 2кк урлов... 1000 не транзитных, не умирающих проксей у меня нет (может поделишься
2) некоторые дата-центры не обрабатывают запрос на pr если юзерагент их не устраивает...

2-ое скорее предположение, а вот 1-ое...

 

[Flexner]

При проверке через сабмиттер гугл банит через 1-2к проверок. Выход - автоматическая (или ручная )смена проксей.

 

[lobzik]

2ТС
1)Не понял почему ты отказываешься от прокси... Гугля банит конкретный айпи или подсеть. Как только текущий айпи баниться начиаешь парситьсь с дугой прокси.
2)Юзер агент можно самому задавать.

 

[E-van]

По-моему, прокси - единственный выход. Их не так уж много и требуется.

 

[Vio]

1) во-первых, я писал что после чека 1.5-2к урлов на любом из датацентров (в том числе и суммарно) гугл отпарвляет в баню на несколько часов... следовательно, у меня есть база... например, 2кк урлов... 1000 не транзитных, не умирающих проксей у меня нет (может поделишься

Поставь на серваке себе чекалку прокси какуюнить, у меня вот вечно свежие прокси и проблем с парсингом чего-либо нет вообще.

 

[vitvvs]

посоветуй нормальный proxy cheker

 

[Zmeyman]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.