"Шаровые" IP для парсинга.

[Mendel]

Скучно... работать лень.
Дай думаю зайду на нуллед спалю пару тем
В общем иногда так хочется чтото попарсить, да на доноре лимиты по ip стоят. Что делать? Покупать прокси?
Вариант. Если парсить через прокси, то я это делаю так:

function mybot($url,$proxy=FALSE,$user_agent="Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)")
	{
	// получим контент
	$ch = curl_init();    // initialize curl handle
	if($proxy<>FALSE) curl_setopt($ch, CURLOPT_PROXY, $proxy);
	curl_setopt($ch, CURLOPT_URL, $url); // set url to post to
	curl_setopt($ch, CURLOPT_FAILONERROR, 1);              // Fail on errors
	curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); // return into a variable
	curl_setopt($ch, CURLOPT_TIMEOUT, 15); // times out after 15s
	curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
	$document = curl_exec($ch);
	curl_close($ch);
	return $document;
	}

Ну а что делать если проксей нет, или они медленные?
В таком случае их можно взять в большом количестве... если у вас удачных хостинг. Или в небольшом, если не такой хороший.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[jacksoft]

Тема конечно известная, но все равно с примерами - зачет.
Вот если бы кто еще попалил тему как с фтп работать на пхп через другой фейс
А то команде ftp_conect уходит через основной...

 

[Mendel]

Тема конечно известная, но все равно с примерами - зачет.

кому известно, а кому и нет... )

Вот если бы кто еще попалил тему как с фтп работать на пхп через другой фейс
А то команде ftp_conect уходит через основной...

сокеты. а ftp ручками реализовать. он не такой уж сложный.

 

[faider]

А что будет когда прокси сдохнет? или залебнётся в таймаутах?
Пример очень банальный и нуждается в долгом, большом и нудной доработке. Неплохо былоб брать этот прокси из уже прочеканного 100%-валидного листа.

 

[jacksoft]

кому известно, а кому и нет... )

сокеты. а ftp ручками реализовать. он не такой уж сложный.

Дык свои проекты - да. А вот скажем дорген редбуттон или другие проекты. Запаришся все переписывать.

 

[vovaNux]

Хотелось бы пример с сокетами в студию

 

[nnmkayf]

В таком случае их можно взять в большом количестве... если у вас удачных хостинг. Или в небольшом, если не такой хороший.

Самая главное в этой теме, список хостингов, на которых это работает, вот это спалишь так спалишь...

 

[jacksoft]

Хотелось бы пример с сокетами в студию

Лучше позно чем никогда
Для просмотра ссылки Войди или Зарегистрируйся

 

[myweb]

Незнаю как но мой хостер узнал што я хожу через проксю и сказал ищо раз и досвидания, видимо хостер тоже не любит когда его так используют . Вобщем для таких експерементов лучше купить хостинг так на 1-2 месаца.

 

[jacksoft]

Незнаю как но мой хостер узнал што я хожу через проксю и сказал ищо раз и досвидания, видимо хостер тоже не любит когда его так используют . Вобщем для таких експерементов лучше купить хостинг так на 1-2 месаца.

Узнал очень просто. Скрипт запущенный от твоего имени использует для выхода чужой ИП адресс... А что делать - это риск и надо смотреть оправданный ли.
На счет хостинга даже луше купить дешевых ВДС по 5-10 баксов и спокойно работать