Парсер Яндекс Маркета

Тема в разделе "Мегафлуд", создана пользователем setevoi, 28 янв 2014.

  1. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    Вопрос по парсеру
    Написал я тут парсер Яндекс Маркета и проработало это чудо всего 4 дня :)
    после чего получило бан от Яндекса :sex:

    модуль был написан для ИМ.
    При добавление товара. закидывалась ссылка на товар на Яндекс маркет
    после чего парсились характеристики товара.
    отпарсить удалось только 60 товаров.

    Вот как его парсить )?
     
  2. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    p.s.

    парсер на php & curl
     
  3. Evil_Master

    Evil_Master СтудэнТ

    Регистр.:
    14 дек 2008
    Сообщения:
    571
    Симпатии:
    420
    proxy использовались?
     
  4. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    ну как бы нет :)

    Я так понимаю как то так
    PHP:
     curl_setopt($chCURLOPT_PROXY"111.111.111.111");
     
  5. komyak

    komyak

    Регистр.:
    4 фев 2009
    Сообщения:
    482
    Симпатии:
    183
    Писал парсеры под Яндекс каталог, маркет, вордстат.
    Яндекс можно парсить только с проксями+очистка кукисов:
    1) Парсим прокси и проверяем на анонимность
    2) Парсим с прокси , например, 5 товаров.
    3) Чистим кукисы и меняем прокси.
    И так по кругу...
     
    Последнее редактирование: 29 янв 2014
  6. esche

    esche

    Регистр.:
    9 авг 2009
    Сообщения:
    360
    Симпатии:
    243
    Эм.. за 4 дня 60 товаров и бан поймать? Он их пачкой что ли обновлял? Паузы между запросами сколько делал?
     
  7. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    Порядка 4 минут. пока добавлялась цена, пока описание, фотки подгрузить