Парсинг выдачи Яндекса

[Evgen_XXX]

Яндекс ввел редирект с Для просмотра ссылки Войди или Зарегистрируйся на yandex.ru чтоб срезать разнообразные парсеры и скрипты.
+ Для красоты

Сейчас все актовно обновляют прожки и скриптики

Да нет. Не только в этом дело.
Пробовал и с www без него - результат один и тот же
Обрезает страницу
+
Вылазит окошко:
Паспорт
Зарегистрироваться
Логин
Пароль
Войти

Может сталкивался кто-нибудь?

 

[Evgen_XXX]

Так и не нашел ответа. Сделал без FOLLOWLOCATION.
Нашел Location, вырезал и сделал повторный запрос.
Все прекрасно работает. Интересно в чем дело было?

 

[ruslanetman]

сейчас нужна большая задержка и лучше ее сделать случайной в каком-нибудь промежутке. в этом русле экспериментировать нужно, имхо

 

[D@nil]

Да нет. Не только в этом дело.

Серп отлично парсится. в своих с криптах сменил только www

 

[Evgen_XXX]

сейчас нужна большая задержка и лучше ее сделать случайной в каком-нибудь промежутке. в этом русле экспериментировать нужно, имхо

Большая - это сколько?
Тогда уже лучше прокси использовать. Хотя пока бан не словил

Серп отлично парсится. в своих с криптах сменил только www

С маркетом никак не получилось. Редирект происходит. Попадаю на страницу, не реально обрезаную. В post параметров никах лишних вроде бы нету. Еще Wireshark их HTTP - заголовки не расшивровывает