Злой avito.ru сломал мне голову (((

[Inviseble_Demon]

Доброго времени суток.
Решил пожаловаться на мою тяжкую жизнь и за одно спросить совета.

Есть такой страшный сайт avito.ru страшный потому что багов я там нашел немерено...
Одни глюки с пагинацией только чего стоят... но не об этом речь..

Имеется потребность получить телефон из объявления, он в картинке так что нужно запрашивать по адресу.

1) Изначально это была переменная в исходнике которая просто передовалась через GET и получалась картинка. Но после недели парсинга зашита сменилась.
2) Код этот стал длинным как зараза хотя итоговый запрос остался тем же. Расковырял яву и получилось то теперь из этой строки нужен каждый нечетный символ и это будит ключ. Но опять токи буквально пара дней и снова сломалось
3) Теперь ключ стал немного длиннее логика осталась тойже только теперь он туда подмешивает левые символы и потом перед генерацией удаляет их. Пофиг снова отрыл и все заработало. Но непомню сколько проработало и снова сломалось.
4) Теперь он ещё и рефер затребовал - дал но снова сломалось.
5) И вот теперь я вообще не понимаю что там происходит потому как если сохранить страницу то получаем одинаковый ключ на выходе - прогоняем через мою функцию получаем тоже самое. Делаю это в браузере - получаю одинаковые ключи запроса но с**а ключи в исходнике постоянно разные кароче я вообще не понимаю что там творится и от куда он берется. Куки не причем - проверил.

​

 

[o_nix]

проверяй отсылаемые и принимаемые заголовки - это то с чем можно бороться средствами php

а вот если там сделали javascript изменение значений или назначение кук, тогда всё сложнее и нужно искать этот самый js вникать в логику
делать парсилку js с выдиранием переменных из html
и потом писать аналог на php

либо можно просто написать парсер под кседант, медленно - за то не поломаетсо

само авито не смотрел перечислил то что это ещё может быть

меня авито в контексте задрал, как его в блек не добавляешь один фиг вылазит скотина

 

[Inviseble_Demon]

Да пол беды с явой с ней уже не в первой бороться.
Куки не причем проверял на них учета нет. Реализация только PHP нужна. Просто самое непонятное что в яве не нашол связей изменений этих. Причем сейчас вообще выяснилось что не все страницы такие. Мне попалось всего штук 5 из 30. Завтра наверно будит тест посмотрю что выйдет какой %. Просто ебогу интересно каким макаром что делают (( Ну нет там кода под этот бред. И блин ну как так на одних страницах работает на других нет. Разница только в сменчивости этого ключа. Даже даты сверял сменчивость и дада независимы.
Кароче говнюк админ или адмыны там....

Временно не актуально.
Через пару дней после теста возможно понадобиться разобраться.

 

[new_forward]

Привет всем...Такая же фигня, Курлом забираю генерирую ключ pkey чтобы вытащить картинку но картинка тянется уже ошибочная, мол Перегрузите страницу... Получается что картинку можно забрать один раз по одному ключу, только вот почему через курл она не тянется...ее помоему даже с браузера нельзя скачать

 

[:webzilapro]

поставь HTTP Analyzer Full Edition 7 и открой страницу. И в этой проге увидешь весь обмен данными.

 

[BDSG]

да.. лихо у них там закручено.. сами js файлы, по ходу, динамически собираются или адреса меняют.. не суть..

имеется следующее соображение.. возможно в качестве бреда, но всё же..
есть такая штука - Для просмотра ссылки Войди или Зарегистрируйся (java программа), к нему можно обращаться из php..
суть - качаем firefox (если нет), качаем сам selenium rc, качаем Для просмотра ссылки Войди или Зарегистрируйся к это дребедени, настраиваем, пишем тест (открытие страницы, клик на ссылку), ну и получаем саму картинку.. костыльно, конечно, и относительно медленно (пока selenium запустится, пока ff поднимет...), но относительно быстро реализуемо..

ну или через эмуляторы браузеров.. сам не сталкивался, но публика вроде как пользуется..

 

[new_forward]

поставь HTTP Analyzer Full Edition 7 и открой страницу. И в этой проге увидешь весь обмен данными.

В FireBug тоже самое показывает...толку ни какого... есть идеи как в PHP картинку сливать с телефоном, хотябы один раз?

 

[N3ur0n]

Не совсем понял в чем проблема в последнем случае, но проверял ли ты такой фактор как генерация с учетом уникального кода для IP? Ключи разные после перезагрузки страницы?

 

[:webzilapro]

В FireBug тоже самое показывает...толку ни какого... есть идеи как в PHP картинку сливать с телефоном, хотябы один раз?

не совсем
в firebug не получишь заголовки и редиректы
так что устанавливай и смотри
+ в firebug нельзя получить картинку во вкладке сеть

 

[Inviseble_Demon]

Тема старая и не актуальная... по крайней мере для меня но тем не менее по правилам не из могилы поднимаю.

N3ur0n - мы с вами вроди не знакомы что бы просто так тыкать в меня предложениями... общаться прилагая капельку уважения намного приятнее для обоих сторон. (но это так со злости + не спавший )

По сути:
IP неможет влиять вернее не смог бы так как тесты были на 1 машине с 1 IP

В итоге проект был закрыт, имеющейся информации было достаточно заказчику и финансирование продолжения разбора полетов не было.
Для меня данная тема более не актуальна, но вопрос не закрыти как я понял пару человек ещё интересует так что закрытие темы на выбор модератора.


BDSG - нет, изначальное требование чистый php если уточнить то на LAMP на крайний случай если вы знакомы с подобными костылями посмотрите в сторону phantomjs (Для просмотра ссылки Войди или Зарегистрируйся)

PS. На момент разработки и появления раковой проблемы подводный камень не был:
1) в куках
2) в запросах
3) в заголовках

В JS сволочи зарыли 105 но я не нашел даже ниточки не говоря о распутывании клубка... но возможно проблема в стимулировании или в мозгах каму как больше нравится ))
PSS. Не так давно был другой проект который все таки финансировал решение подобной задачи... Все каму все ещё нужен avito пробуйте работать с phantomjs он вам в итоге отдаст чистый html конечный где уже картинка номера просто конечная ссылка без выеживания.

Всем добра.