Помогите с парсингом

Тема в разделе "PHP", создана пользователем verfaa, 2 окт 2014.

Статус темы:
Закрыта.
Модераторы: latteo
  1. verfaa

    verfaa

    Регистр.:
    29 янв 2007
    Сообщения:
    374
    Симпатии:
    41
    Появилась задача спарсить регионы и города с badoo.com на нидерландском языке.
    Я набросал код
    Код:
    ...
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, "http://badoo.com/ws/location-wizard.phtml?nohtml=1&place=search&ws=1&rt=7ec25b"); // Копируем HTML код страницы
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7"); //типа мы делаем это из мозиллы
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_POST, true);
    curl_setopt($ch, CURLOPT_POSTFIELDS, "location=9_0_0");
    $content = json_decode(curl_exec($ch), true);
    ...
    и парсит он как нужно, вот только весь контент badoo отдает мне на немецком языке (парсинг веду с немецкого сервера).
    Просмотрел все куки через firebug - нигде id используемого языка не видно. Значит он походу в сессиях хранится.
    И как мне скриптом поменять язык на сайте?
    Может вначале через курл заходить на страницу Перейти по ссылке и выбирать нужный язык, а затем парсить? только как это сделать через curl?
    Помогите пожалуйста.
    P.S. пример страницы, где можно выбрать города Перейти по ссылке
     
  2. ykpon

    ykpon

    Регистр.:
    8 дек 2012
    Сообщения:
    249
    Симпатии:
    143
    А если попробовать Нидерландские прокси заюзать?
     
  3. verfaa

    verfaa

    Регистр.:
    29 янв 2007
    Сообщения:
    374
    Симпатии:
    41
    не вариант, мне не только эта, а ещё пару десятков других стран нужно, там свои языки...
     
  4. Darkness

    Darkness Постоялец

    Регистр.:
    21 янв 2013
    Сообщения:
    146
    Симпатии:
    69
    При первом обращении к сайту на любой странице вещается сессионная кука s1, все остальное формируется и отдается сервером на основании данных связанных с кукой и переданных ранее серверу.
    Достаточно пройти по ссылке одного из языка из списка Перейти по ссылке и дальнейшая отдача изменится для всей сессии, если куку не передать, отдача пойдет по геолокации.
    ТС херово ты смотрел в дебагере.:D:facepalm:
     
  5. warg

    warg Постоялец

    Регистр.:
    26 июн 2007
    Сообщения:
    129
    Симпатии:
    136
    latteo нравится это.
  6. Ultharas

    Ultharas Создатель

    Регистр.:
    26 сен 2014
    Сообщения:
    27
    Симпатии:
    10
    Мне приходилось делать реализации с переводом на Питоне, остановился на вариантах - напрямую давать ссылку через google или яндекс переводчик, через хромовский переводчик, или давай строкой с разделителем, юзая google API
     
Статус темы:
Закрыта.