Информация Как сделать парсер.. Сейчас научу!

[Noikudo]

Заместо file_get_contents можно использовать свою функцию. Функция работает через curl, что позволяет иммитировать человеческий серфинг, логинится и прочие вещи. Вот пример функции:

		// Окрывам сайт
		function open_url($url, $user_agent="Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)")
		{
			$ch = curl_init();    // initialize curl handle
			curl_setopt($ch, CURLOPT_URL, $url); // set url to post to
			curl_setopt($ch, CURLOPT_FAILONERROR, 1); // Fail on errors
			curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); // return into a variable
			curl_setopt($ch, CURLOPT_TIMEOUT, 15); // times out after 15s
			curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
			$document = iconv("WINDOWS-1251", "UTF-8", curl_exec($ch));
			curl_close($ch);
			return $document; 
		}

PS Данная функция написана юзером Mendel ( и потом доделана переделана)))

 

[m0tti]

Заместо file_get_contents можно использовать свою функцию. Функция работает через curl, что позволяет иммитировать человеческий серфинг, логинится и прочие вещи. Вот пример функции:

		// Окрывам сайт
		function open_url($url, $user_agent="Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)")
		{
			$ch = curl_init();    // initialize curl handle
			curl_setopt($ch, CURLOPT_URL, $url); // set url to post to
			curl_setopt($ch, CURLOPT_FAILONERROR, 1); // Fail on errors
			curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); // return into a variable
			curl_setopt($ch, CURLOPT_TIMEOUT, 15); // times out after 15s
			curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
			$document = iconv("WINDOWS-1251", "UTF-8", curl_exec($ch));
			curl_close($ch);
			return $document; 
		}

PS Данная функция написана юзером Mendel ( и потом доделана переделана)))

То есть меняем строчку file_get_contents на это ?

 

[MSW]

А как быть если кодировки несовпадают?
У меня исходник UTF-8 а дле на 1251?

я думал мы это разобрали пару постов назад в прошлом коде, где было указано:

 $cache = iconv("utf-8", "windows-1251", $cach); //меняем ей кодировку, ато у меня отображалось в неправильной кодировке.

 

[m0tti]

я думал мы это разобрали пару постов назад в прошлом коде, где было указано:

 $cache = iconv("utf-8", "windows-1251", $cach); //меняем ей кодировку, ато у меня отображалось в неправильной кодировке.

Не фурычит :bc:
Твой код невижу слишком большой хайд

$res = preg_replace('/<a.+>/isU', ' ', $temp[1]);
$res = preg_replace('/<\/a>/isU', ' ', $res);
//echo $res;
$res = iconv("utf-8", "windows-1251", $res); //меняем ей кодировку, ато у меня отображалось в неправильной кодировке
$cache_res = $res;
create_cache("cache_res", $cache_res, $config['skin']); // вгон в кеш

Добавлено через 12 минут
Все заработало, предыдущий пост не стал править вдруг кому то понадобиться.

В тексте были символы отстутвующие в 1251, проблем решилась очень просто

$res = iconv("utf-8", "windows-1251//IGNORE", $res); //меняем ей кодировку, ато у меня отображалось в неправильной кодировке.

То есть добавлением //IGNORE

 

[Acidrayne]

Скажите пишу чейчас граббер, но никак не могу понять куда же всетаки отправлются данные при авторизации ?? Если кто может написать точный пост запрос буду очень признателен! Пробовал определить с помощью снифера IEwatch но результата нет, как будто данные отправляются в индексную страницу

 

[7Max7]

Как сделать парсер.. Сейчас научу!
Учу только парсингу с 1 страницы, чтобы было все тектово.
Атоматическое обновление включено.
*** скрытое содержание ***
Для просмотра ссылки Войди или Зарегистрируйся - взял как пример.
Но это простой парсер..
Чтобы встроить в dle я допиисал лишь пару строк:
*** скрытое содержание ***
Но я делаю парсеры с curl и т.д. у мну не такие..
Парсите на здоровье...
Принимаю бесплатно спасибки)) Ведь обошлось мне 15$
Хотя я сам себе отличный написал...

спасибо допишу плюс один