1. Задавайте здесь вопросы о коде, которые не подходят в другие разделы, такие как:
    Дизайн > Верстка
    PHP > Как сделать на PHP
    Скрыть объявление

Вопрос по массову чеку PR...

Тема в разделе "Web Coding", создана пользователем ZVart, 13 дек 2007.

Статус темы:
Закрыта.
Модераторы: latteo
  1. ZVart

    ZVart Постоялец

    Регистр.:
    25 авг 2007
    Сообщения:
    63
    Симпатии:
    25
    Вообщем следующая трабла, думаю многие столкнулись... может кто-то нашел выход и подскажет...
    С недавнего времени гугл отрабатывает ограниченное количество запросов на чек PR... Выдает PR примерно 2000 ресуросв, после чего в баню на некоторое время час-два точно не скажу...
    Что пробовал?
    1) пробовал выставить таймаут между запросами... например, чекаю 500 ресов потом таймаут, потом еще 500 ресов... постепенно увеличивал таймаут, дошел до 40 сек - результат - все равно в баню...
    2) пробовал делать запросы на различные DC, например 500 на одном, потом 500 на другом... история та же самая, когда суммарно достигаем 2000 урлов - опять в баню, похоже общая база для всех DC...
    3) еще несколько мелких эспериментов, описывать не буду, не критично...

    Кто как чекает? Прошу различные ссылки на сервисы не выкладывать **х не нужны... Может кто скриптец подкинет, у меня перловый... идею брал где-то тут у Mamadu...
     
  2. paragvay

    paragvay Создатель

    Регистр.:
    28 июн 2007
    Сообщения:
    27
    Симпатии:
    2
    к сожалению, скрипта нет нормального, но Allsubmitter с этим справляется припрекрасно, ни разу не банила гуля, чекал базу в 25К+, нет проблем, чекал всего в 3 потока и с задержкой. Может в этом дело? Может слишком много потоков ставишь? Если по трафу не очень напряжно, то попробуй Allsubmitter, там одновременно можно не только ПР, но и много разных полезностей чекать, как то: живучесть реса, наличие форм, тИЦ и т.д.
     
  3. ZVart

    ZVart Постоялец

    Регистр.:
    25 авг 2007
    Сообщения:
    63
    Симпатии:
    25
    **х сабмитер, ай донт хэв виндоус... Когда последний раз чекал? Изменения произошли совсем недавно... Я думаю, из моего прошлого сообщения понятно, что в 1 поток я точно пробовал... :) а вот про таймаут давай подробнее, какая задержка у тебя стоит? задержка между чеком каждого урла или пачкой?
     
  4. ZVart

    ZVart Постоялец

    Регистр.:
    25 авг 2007
    Сообщения:
    63
    Симпатии:
    25
    Проблем несколько :)

    1) во-первых, я писал что после чека 1.5-2к урлов на любом из датацентров (в том числе и суммарно) гугл отпарвляет в баню на несколько часов... следовательно, у меня есть база... например, 2кк урлов... 1000 не транзитных, не умирающих проксей у меня нет (может поделишься ;)
    2) некоторые дата-центры не обрабатывают запрос на pr если юзерагент их не устраивает...

    2-ое скорее предположение, а вот 1-ое...
     
  5. Flexner

    Flexner

    Регистр.:
    17 сен 2007
    Сообщения:
    183
    Симпатии:
    25
    При проверке через сабмиттер гугл банит через 1-2к проверок. Выход - автоматическая (или ручная :) )смена проксей.
     
  6. lobzik

    lobzik

    Регистр.:
    8 авг 2006
    Сообщения:
    311
    Симпатии:
    49
    2ТС
    1)Не понял почему ты отказываешься от прокси... Гугля банит конкретный айпи или подсеть. Как только текущий айпи баниться начиаешь парситьсь с дугой прокси.
    2)Юзер агент можно самому задавать.
     
  7. E-van

    E-van

    Регистр.:
    12 сен 2006
    Сообщения:
    228
    Симпатии:
    18
    По-моему, прокси - единственный выход. Их не так уж много и требуется.
     
  8. Vio

    Vio Создатель

    Регистр.:
    28 май 2007
    Сообщения:
    34
    Симпатии:
    2
    Поставь на серваке себе чекалку прокси какуюнить, у меня вот вечно свежие прокси и проблем с парсингом чего-либо нет вообще.
     
  9. vitvvs

    vitvvs Постоялец

    Регистр.:
    4 окт 2007
    Сообщения:
    89
    Симпатии:
    11
    посоветуй нормальный proxy cheker
     
  10. Zmeyman

    Zmeyman

    Регистр.:
    21 авг 2007
    Сообщения:
    235
    Симпатии:
    76
    https://www.nulled.cc/showthread.php?t=4529
     
Статус темы:
Закрыта.