PHP прокси для SEO запросов работоспособно ли?

Тема в разделе "SEO Скрипты", создана пользователем akigleo, 17 янв 2013.

  1. akigleo

    akigleo

    Регистр.:
    7 фев 2010
    Сообщения:
    279
    Симпатии:
    27
    Для анализа SEO параметров нужны прокси. Можно покупать, можно постоянно парсить списки бесплатных. Везде свои плюсы/минусы и останавливаться на них сейчас смысла нет.

    Возникла идея задействовать свои нутренние ресурсы и установить php прокси на домены шаред хостинга с доступными 30-ю IP. То есть каждый домен на своем IP. Хостер не возражает насчет установки php прокси (анонимизатора).

    Не думаю, что идея нова и скорее она всего кем-то проработана. Собственно вопросы к знатокам:
    - работоспособна ли идея?
    Я прекрасно понимаю, что быстродействие php скрипта существенно ниже. Однако запросы к поисковикам небольшие, не думаю, что будет тяжелый траф и тормоза не позволяющие работать.
    Знаю так же, что есть решения, когда нет необходимости, чтобы php скрипт постоянно висел в памяти и слушал свой порт, что не реально орагнизовать на шаред хостинге, если ты не админ. Насколько я бегло посмотрел, есть решения, когда php скрипт прокси работает только тогда - когда к нему обратились.
    - Есть ли у кого уже отработанный вариант, что можно сказать под такие задачи хорошо подходит скрипт такой-то, вот я реально пользуюсь и счастлив?
     
  2. SolutionFix

    SolutionFix 17 лет програмлю ;)

    Регистр.:
    20 ноя 2006
    Сообщения:
    272
    Симпатии:
    318
    Смотри в чем там прикол.
    Если ты хочешь использовать обычный софт от другого разработчика - то нужно чтобы порты были открыты и скрипт висел. Такое конечно можно сделать на пхп, но обычно такой возможности у пользователя shared хостинга нет.
    Если ты хочешь использовать анонимайзер - то это не совсем прокси с точки зрения протоколов, ну то есть тогда и твой софт который там анализирует параметры должен уметь работать через такие анонимайзеры.
    Итого:
    - если софт умеет (читай софт твой) - то нет проблем, там этого самого анонимайзера 10 строк.
    - если софт твой, то подумай может можно использовать чужие анонимайзеры которых в инете не так чтобы и мало
    - если софт не умеет работать через анонимайзеры, то понадобится ssh чтобы поднять проксю. Рекомендую 3proxy, как максимально user-friendly.


    Добавлено позже: Ага, или вот такое решение как latteo посоветовал - в виде комбинации скрипта и десктопной надстройки к нему. Если конечно софт который нужно запустить с проксями - десктопный под вин.
     
    akigleo и latteo нравится это.
  3. latteo

    latteo Эффективное использование PHP, MySQL

    Moderator
    Регистр.:
    28 фев 2008
    Сообщения:
    1.451
    Симпатии:
    1.244
    Те php-скрипты, которые называются анонимайзеры и были распространены несколько лет назад, за эти несколько лет похоже таки не обновлялись и не всегда корректно работают с кодировками, часто плохо переносят яваскрипт запросы (вплоть до того, что запросы летят не анонимно).
    Более современное решение, которое сейчас популярно советовать http://wonted.ru/programms/vpsproxy/.

    Идея вполне работоспособна.
    Быстродействие может почти не пострадать, при грамотном коде анонимайзера.
    Если у шареда 30 IP велик шанс, что не только ты парсишь ПС.

    Интернет провайдер с динамическим IP оказывается гораздо эффективней, для парсинга (на Украине довольно распространённое явление).

    По старым наблюдениям (парсилось скриптами или софтом) около 100-200 запросов с паузой от 10 до 60 секунд можно послать, пока каптчу не потребует. Как часто сброс происходит не знаю, но в течении минимум пары часов, шустро парсить уже не получится, предположим, что сброс через сутки. Из чего имеем, что от 3000 до 6000 точно можно в сутки результатов с ПС спарсить, если этого достаточно, то метод с анонимайзероми на шареде тебе подойдёт.
     
    akigleo и SolutionFix нравится это.
  4. stooper

    stooper hoster

    Moderator
    Регистр.:
    14 апр 2006
    Сообщения:
    528
    Симпатии:
    312
    30 ip маловато, имхо. как то я парсил один из сервисов яндекса, и что бы работало эффективно - дописал скрипт, научив его работать через прокси, используя curl. каждый запрос с задержкой в 6 секунд, если реже - там происходил бан прокси. в базе около 300-500 живых анонимный прокси весело стабильно. это было в ноябре, и проработало все это дело около месяца. потом правда они что то придумали интересное, что по запросу через прокси(любой) скрипт мой начал получать 404. дальше разбираться уже не стал, не было необходимости.
     
  5. smalllamer

    smalllamer Организм

    Регистр.:
    20 сен 2009
    Сообщения:
    318
    Симпатии:
    126
    Отлично что подняли тему:ay:
    Я буквально на неделе заморачивался с подобным.

    Для парсинга вполне справятся обычные паблик проксы. Можно АВМ взять - более-менее работают. Ну или от Инферно.
    Подобные решения нужны для более деликатных задач.

    Вариант Воланда используем, но он не совсем подходит из-за того что нужно использовать клиент. Хочется чтоб проксы были доступны для любого софта и без дополнительных танцев.
    Да, через ССШ вообще не проблема сделать, но он не всегда есть)

    Вот что я нарыл:
    http://forum.antichat.ru/threadnav177147-1-10.html
    https://rdot.org/forum/showthread.php?t=133

    Гляньте, если интересно, отпишитесь... А то у меня то криво работает, то вообще не работает.
    Если что, готов скинуться на доработку и тд и тп.
     
    latteo нравится это.
  6. akigleo

    akigleo

    Регистр.:
    7 фев 2010
    Сообщения:
    279
    Симпатии:
    27
    Чем богаты. Хотя, если эти IP прописать в сервисе Яндекс XML, то бан отодвинется...

    Я так понял, что ваше решение было чисто для себя и до стабильно работающей версии не доработано. Запускали на shared хостинге или на своем сервере?

    Запарился я этими паблик проксями, которые дохнут на глазах. Покупать - можно, но если есть резерв возможностей, то есть смысл подумать как их приспособить.

    Хмммм. Я как раз собирался потестить это решение. Я так понял, что для любого дексктопного софта, где можно указывать прокси - это неплохой выбор.
    По скорости работы вас устроил?

    Если никто не предложит еще какой хороший работоспособный вариант, который не требует доработок.
     
  7. stooper

    stooper hoster

    Moderator
    Регистр.:
    14 апр 2006
    Сообщения:
    528
    Симпатии:
    312
    все верно. парсил я т.н. "прямой эфир" яндекса, с vds-а, запуская php-скрипты по крону через прокси. у них была страничка, http://stat.yandex.ru/queries/last20.xml, которая показывала в реальном времени, что сейчас ищут люди, в удобном формате, в xml. а теперь я захожу и получаю редирект на http://company.yandex.ru/researches/interes/, и теперь понятно стало, почему мой скрипт отвалился. это не он не в порядке, это просто халява закончилась)))
    честно говоря, не особо задумывался по поводу реализации http/socks прокси средствами php. в принципе, решение не плохое, в том случае, если есть ip и если нужно не так уж и много прокси, в пределах пары десятков.
    знаю точно, что socks прокси на php не реализуем. а вот хттп.. буквально вчера вот такой скрипт покрутил:
    NiX proxy script - там описание и сам скрипт. вроде бы работает, с авторизацией и без. единственное, что это закодированная соурсгуардом байда, и станет только на vds, где можно его либу к php прикрутить.
    вот еще вот такую штуку кто то хвалил.
     
  8. dandandan

    dandandan

    Регистр.:
    7 авг 2008
    Сообщения:
    990
    Симпатии:
    267
    Либо я что-то пропустил, либо проблема решается так же как и с обычными проксями, только нужно выставить тип прокси
    curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5); // или CURLPROXY_SOCKS4
     
  9. akigleo

    akigleo

    Регистр.:
    7 фев 2010
    Сообщения:
    279
    Симпатии:
    27
    Можно тут подробнее? У меня действительно Интернет провайдер присваивает динамический IP при каждом заходе. Получается, что когда забанится текущий IP нужно прервать соединение, возобновить связь и продолжить работу с уже новым IP. При этом нужно еще как-то убедить программу сбора параметров подождать, пока идет переподключение. Выглядит громоздко. Или есть автоматизированные решения?
     
  10. latteo

    latteo Эффективное использование PHP, MySQL

    Moderator
    Регистр.:
    28 фев 2008
    Сообщения:
    1.451
    Симпатии:
    1.244
    Зависит от провайдера. Я парсил скриптом и сделать паузу не представляло проблемы.
    Для pppoe и vpn подключений срабатывал консольный rasdial (win XP), для другого подключения необходимо mac-адрес сетевой менять для смены ip - тоже можно автоматизировать.

    Если подключение по витой паре, смена ip меньше секунды занимает. Если adsl или мобильный интернет - здесь уже 2-10 секунд, что действительно может быть громоздко и долго. Теоретически можно запустить некий скрипт, который каждую минуту-две меняет IP, предложенными выше способами, программа парсящая ПС, если не совсем уж глупая, сможет с таким миганием коннекта справится без потерь в парсинге. Такие или почти такие скрипты иногда можно найти на форуме провайдера.
     
    akigleo нравится это.