Парсинг сайта, или как правильно маскироваться?

[greatilya]

Парсю Я*н*д*е*к*с через программу написанную на делфи. При большом количестве запросов за день он выкидывает капчу. При парсинге я указываею UserAgent такой же как и в браузере. Потом я в браузере ввожу код капчи и больше она у меня не вылазит. Но вот программа парсить так и не хочет, там вылазит капча, как сделать так чтобы я ввел капчу в браузере и программа продолжила парсинг. Что еще кроме UserAgent учитывается?

 

[Belial]

Куки.
10 кук

 

[Liver]

Палево идет по IP. Выкидывается капча и при правильном вводе ставится кука, по которой потом бот и считает браузер за человека. Программа должна сохранить куку после ввода капчи.

 

[Nei]

Не знаю как у кого, но у меня часто даже после ввода капчи вручную не хочет работать Яндекс. Из браузера напрямую я имею ввиду.
Выкидывает еще на одну капчу и так до бесконечности.
Помогает только смена IP (благо он у меня динамический)

 

[everest]

Не знаю как у кого, но у меня часто даже после ввода капчи вручную не хочет работать Яндекс. Из браузера напрямую я имею ввиду.
Выкидывает еще на одну капчу и так до бесконечности.
Помогает только смена IP (благо он у меня динамический)

Думаю, что при множестве запросов они действительно будут выдавать капчи постоянно. Можно сделать запросы страниц по таймеру, например раз в 20-30 секунд - тогда кроме всего прочего и работа будет похожа на человека.

 

[doxx]

Думаю, что при множестве запросов они действительно будут выдавать капчи постоянно. Можно сделать запросы страниц по таймеру, например раз в 20-30 секунд - тогда кроме всего прочего и работа будет похожа на человека.

я вручную набираю несколько запросов в сутки.. (просто ищу нужное)
каптча постоянно вылазит на яше,после 2-3 запроса ( даже если они через час сделаны ) раньше такого не было..напрягает

 

[trooll]

У Яндекса дурная защитная система, как показывает практика сейчас он работает через чаз час будет требовать у тебя ввод капчи без конечно.

Я забил в свое время на ввод Яндекс Бот капчи, и решил больше не когда с ней не связываться, во всех скрипта которые работают с Я.Поисковиком обход защиты ведется через смену прокси, которая в свою очередь перед использованием чекаеться на забанность Я.Поисковиком, ну и конечно интервалы между запросами.

 

[and77st]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.