как могут палить curl?

[TrastMan]

Похоже некоторые ресурсы не хотят общаться с курлом Куки передаются правильные, USERAGENT вполне распространенный, реферрер павильный, язык системы тоже норм.
Что может быть еще, не считая обработки джава?

 

[ZCFD]

частота запросов, дополнительные заголовки -- редко, но проверяют

 

[TrastMan]

частота запросов, дополнительные заголовки -- редко, но проверяют

Частота запросов в норме. Все регулируется и работет через прокси. А что за дополнительные заголовки?

 

[ZCFD]

ну вот

Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: ru-RU,ru;q=0.9,en;q=0.8
Accept-Charset: iso-8859-1, utf-8, utf-16, *;q=0.1
Accept-Encoding: deflate, gzip, x-gzip, identity, *;q=0
Cookie2: $Version=1
Connection: Keep-Alive, TE
TE: deflate, gzip, chunked, identity, trailers

врядли ты их курлом отправляешь, и например запрос css и js - для программистов извращенцев

 

[TrastMan]

ну вот
врядли ты их курлом отправляешь, и например запрос css и js - для программистов извращенцев

Отправляю, но не все. Каждый из этих заголовков обязательный?

 

[SkiLLer]

Посмотри, что отравляется из реального браузера и пробуй иммитировать cURL`ом. Для этого есть неплохой плагин для ФФ Live Http Headers

 

[ZCFD]

нет не обязательный

важны куки, реферер, юзерагент

последнее не слишком часто.

Все остальное -- редкость

 

[failometr]

Некоторые ресурсы могут требовать, например, куки, которые они выдали в яваскрипте или теже хитрые куки, собранные по нескольким 302-редиректам. Иногда не все "стандартные" юзерагенты кушает. У меня просто шш.ру не хотел агент какой-то старой оперы жрать, не правильно меня авторизировал.
Лично я пользуюсь прогой naviscope, она мне отображает все хттп пакетики как есть, можно проследить куда браузер пробежал и что получил, довольно удобно.

 

[Belial]

Ещё дело может быть в проксях. Некоторые ресурсы могут определять, через прокси ты зашёл или нет. То ли у них ведётся своя база проксей, то ли хз как ещё они определяют.

 

[ZCFD]

некоторые прокси серверы добавляют заголовк который прямо говорит - Я ПРОКСИ