Сколько запросов можно делать в сутки в Яндексе?
- Автор темы greatilya
- Дата начала
- Статус
greatilya
Создатель
- Регистрация
- 21 Май 2009
- Сообщения
- 35
- Реакции
- 3
- Автор темы
- #3
ну вот смотрите, я парсю curl`ом яндекс.маркет ... следующим образом: сначала забираю стараницу с группами производителей, потом захожу в производителя и выкачиваю у него все продукты... там итого получалось более тысячи страниц...
как я сейчас понял Яндекс XML он только для поиска... на маркет он не распространяется?
а проблема моя заключается вот в чем: бывает что я спарсю в сутки более 1000 продуктов, а бывает что и на 500 отрубается... Я вот и думаю может ли это как то зависеть от того, что я в сапе пользуюсь плагином для FF и проверяю им ссылки на проиндексированность?
и тогда еще маленький вопрос "САПОводам": с помощью плагина для FF получается же тоже идет ограничение на количество проверяемых ссылок на предмет индексации.... ?
Заранее спасибо за ответ. Прошу прощения, если отнимаю у вас много времени.
solarscape
Постоялец
- Регистрация
- 19 Июл 2009
- Сообщения
- 109
- Реакции
- 8
В свое время у меня были проблемы с запросами к яше, пришлось даже из-за этого провайдера сменить. На старом провайдере у меня был динамический ip, а на новом статический. В результате на старом отказывался работать и site-auditor и yccy, даже tor не спасал. Сейчас бывает по 5000-7000 ссылок проверяю и все ок. Так что думаю, что дело в ip-адресе - он должен быть статическим.
greatilya
Создатель
- Регистрация
- 21 Май 2009
- Сообщения
- 35
- Реакции
- 3
- Автор темы
- #7
кстати, вчера когда написал, решил попробовать на выделенном серваке со статичным ip запустить парсинг, так вот, парсит всё без проблем с маркета... вчера напарсил мне более 15000 продуктов... так что согласен с мнением что все из-за ip...
не подскажете, где можно почитать про плагин ФФ? просто интересен принцип его работы... также есть бредовая идея настроить заточить его под себя... точнее я хотел бы штуку, которая в сапе сама бы ежедневно проверяла размещаемые ссылке на сайте на предмет проиндексированности. и непроиндексированные сразу удаляла... так скажем более автоматизировать....
bkackh
Создатель
- Регистрация
- 1 Сен 2008
- Сообщения
- 30
- Реакции
- 4
Это тебе в сеопульт пора )))))
Не верю, что проверяешь 5-7 тысяч ссылок. Такое на ура банится. Что за чудесный ip? Поделишься?
По существу:
xml, но он не точен, если проверяешь позиции
xml, через разные ip - итого можно много всего делать
proxy (лучше покупные) - живут долго
Лучше иметь свой сервер, и купленные для него ip и тунели!
- Статус