Помогите определить ликвидность прокси

Тема в разделе "PHP", создана пользователем e64f, 7 июл 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. e64f

    e64f Постоялец

    Регистр.:
    2 ноя 2008
    Сообщения:
    95
    Симпатии:
    6
    Как можно быстро проверить ликвидность большого списка прокси серверов?
    Дано:
    1) Список около 10 000 серверов прокси.
    2) Программа на php которая проверяет большой список доменов в одной буржуйской пузомерке. Чтобы не забанили проверку нужно делать через прокси, и не слишком часто через одну и ту же прокси.
    Занимаюсь, работой через прокси в первый раз, так что прошу поправлять меня если ошибаюсь в методологии.
    Как делаю:
    Прокси и домены лежат в двух таблицах. Беру по записи из каждой таблицы. Пытаюсь получить страницу (для грабинга значения пузомерки) если определенного шаблона (фрагмента) страницы нет то считаю проксю неликвидной и удаляю из таблицы. Если все ок, маркирую домен, чтобы в следующий раз его не брать повторно для проверки, маркирую проксю чтобы пользоваться ею на следующем цикле, когда пройду по циклу все прокси (и каждая из них или удалится или останется). Список проксей обновляется раз в полчаса в источнике, могу себе обновлять. Вообще по настройкам каждой рабочей проксей предполагаю воспользоваться 200 раз.
    Проблемы:
    1) Список проксей большой и не все прокси рабочие, речь идет о работе прокси как таковой так и бан прокси ресурсом куда я пытаюсь обратиться.
    2) Из 10 000 проксей рабочие всего 10%
    3) Процесс повешан на крон, в минуту обрабатываю по 5 записей, а в связи с тем что много неактуальных проксей, происходит холостой ход программы, в курлах на загрузку страницы отвожу 30 секунд.
    Вопрос: Можно ли быстро прочекать большой список проксей на ликвидность?
     
  2. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    http://www.nulled.ws/showthread.php?t=61732
     
  3. e64f

    e64f Постоялец

    Регистр.:
    2 ноя 2008
    Сообщения:
    95
    Симпатии:
    6
    2 D@nil

    Спасибо конечно, но это не то что мне нужно.

    Вообще нужна методика, а не сам код.

    1) Как проверить работоспособность прокси.
    2) Как прокси проверить на бан определенным серваком.
    ЗЫ. Важна скорость.
     
  4. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    функцию проверки можешь как раз оттуда скопировать.

    Смотря где эти прокси банят?
     
  5. splinter

    splinter Постоялец

    Регистр.:
    31 май 2007
    Сообщения:
    74
    Симпатии:
    23
    Имхо ты вполне логично решил задачу в лоб. Так как ты делаешь ты одним запросом убиваешь несколько зайцев и это хорошо. Ничего здоровского не будет если ты будешь отдельно их чекать. Что касается скорости работы то наверно пора тебе вырастать и юзать мульти функции курла, они для этого и придуманы чтобы пока один поток ждёт ответа другие продолжали работу.
     
  6. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    Чекать можно и 1м запросом, если качать страницу которую в последствии будем парсить.

    А ты я смотрю шутник, посмотри ради интереса мои скрипты)
     
  7. splinter

    splinter Постоялец

    Регистр.:
    31 май 2007
    Сообщения:
    74
    Симпатии:
    23
    Именно так ТС и делает.
    Я к ТС обращаюсь. При чём тут твои скрипты?
     
  8. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    2splinter
    проглядел сообщение.
     
Статус темы:
Закрыта.