Парсинг яндекса, как это делается сейчас?

Статус
В этой теме нельзя размещать новые ответы.
VPN это хорошо, но иногда это выходит дороже по средствам. Проще написать программу на C# многопоточную, которая будет коннектиться и к API антигейта, и к API прокси сервиса (да, я встречал такие). Работало всё отлично, кроме того, что сервис прокси был отстойный (около 200 рублей в месяц. Копейки) и у него было API. Соответственно, можно сделать вывод, что у более дорогих прокси сервисов обязательно должны быть API, что в свою очередь делает разработку необходимого продукта максимально простым.
 
Ниже приведён список сайтов и по каждому сайту свои лимиты. Как это высчитывается, есть предположение что по ранжированию и тИЦ.
Скорее по посещаемости, исходя из Я.Метрики
 
VPN это хорошо, но иногда это выходит дороже по средствам. Проще написать программу на C# многопоточную, которая будет коннектиться и к API антигейта, и к API прокси сервиса (да, я встречал такие). Работало всё отлично, кроме того, что сервис прокси был отстойный (около 200 рублей в месяц. Копейки) и у него было API. Соответственно, можно сделать вывод, что у более дорогих прокси сервисов обязательно должны быть API, что в свою очередь делает разработку необходимого продукта максимально простым.
я взял VPN-ы на полгода за 700руб (что, походу, выгоднее чем "отстойный прокси за ~200руб/мес"). Опять же, многопоточность можно и на питоне написать, что я и делаю
 
я взял VPN-ы на полгода за 700руб (что, походу, выгоднее чем "отстойный прокси за ~200руб/мес"). Опять же, многопоточность можно и на питоне написать, что я и делаю
Ну тут кстати от преследуемой цели. У меня было постоянно 50 асинхронных потоков, которые каждые 10 запросов получали новый список прокси. Функция каждого потока была минимальна - обратиться к сайту, вытащить информацию с помощью регулярки и всё. И при частых запросах с одного айпи выкидывало ошибку, свидетельствующая о наличии ддос защиты у сайта. Мне просто большое количество IP адресов нужно было не весьма хорошего качества.
 
Никто не пробовал делать парсинг с использованием таблиц google средствами Google App Script?
 
Покупай лимиты xml у яши.... и будет тебе счастье.. Поищи яндекс xml сток
 
Пара десятков прокси должна решить проблему с парсингом яши.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху