Парсинг html (кодировка)

parks · 2 Фев 2011

Есть скрипт

PHP:

<?php
$html =  file_get_contents ( 'http://www.olimpkino.dp.ua/' );
    /** создаем новый dom-объект **/
    $dom = new domDocument;

    /** загружаем html в объект **/
    @$dom->loadHTML($html);
    $dom->preserveWhiteSpace = false;

    /** элемент по тэгу **/
    $tables = $dom->getElementsByTagName('table');

    /** получаем все строки таблицы **/
    $rows = $tables->item(0)->getElementsByTagName('tr');

    /** цикл по строкам **/
    foreach ($rows as $row)
    {
        /** все ячейки по тэгу **/
        $cols = $row->getElementsByTagName('td');
        /** выводим значения **/
        echo $cols->item(0)->nodeValue.'<br>';
        echo $cols->item(1)->nodeValue.'<br>';
        echo '<hr>';
    }
?>

В итоге получается половона нормального текста а половина каракуль

В ролях:
Джонни Депп, Анджелина Джоли, Пол Беттани и др.

Описание:
Джонни Депп играет американского туриста, чей легкий флирт с незнакомкой приводить его в самый центр паутины интриг, страстей и опасности. Во время экспромтной поездки в Европу для того, чтобы излечить свое разбитое сердце, Френк (Депп) случайно встречает очень необычную ж�... Ð¿Ð¾Ð´ÑÐ¾Ð±Ð½ÐµÐµ...

20.01 - 09.02
"Ð¡Ð°Ð¼ÑÐ¹ Ð»ÑÑÑÐ¸Ð¹ ÑÐ¸Ð»ÑÐ¼ Ð² 3-ÐÐ" (Ð¡Ð°Ð¼ÑÐ¹ Ð»ÑÑÑÐ¸Ð¹ ÑÐ¸Ð»ÑÐ¼ Ð² 3-ÐÐ) ÑÐµÐ½Ð° Ð±Ð¸Ð»ÐµÑÐ¾Ð² ÐÐ¾Ð»ÑÑÐ¾Ð¹ Ð·Ð°Ð»: 15:00, 17:00, 19:00, 21:00 (ÑÐµÐ°Ð½ÑÑ Ð½Ð° 2 ÑÐµÐ²ÑÐ°Ð»Ñ) ÐÐ°Ð»ÑÐ¹ Ð·Ð°Ð»: 11:00, 13:00 (ÑÐµÐ°Ð½ÑÑ Ð½Ð° 2 ÑÐµÐ²ÑÐ°Ð»Ñ) ÐÐ°Ð½Ñ: ÐºÐ¾Ð¼ÐµÐ´Ð¸Ñ Ð ÑÐ¾Ð»ÑÑ: ÐÐ°ÑÐ¸Ðº Ð¥Ð°ÑÐ»Ð°Ð¼Ð¾Ð², ÐÐ»ÐµÐºÑÐ°Ð½Ð´Ñ ÐÐ°Ð»ÑÐµÐ², ÐÐ»ÐµÐºÑÐ°Ð½Ð´Ñ Ð¡ÐµÐ¼ÑÐµÐ² Ð¸ Ð´Ñ. ÐÐ³ÑÐ°Ð½Ð¸ÑÐµÐ½Ð¸Ðµ: Ð´Ð¾ 16 Ð»ÐµÑ ÐÐ¿Ð¸ÑÐ°Ð½Ð¸Ðµ: ÐÐ°ÐºÑ Ð£ÑÐµÑÐ¾Ð² â Ð½ÐµÐ´Ð¾Ð¾ÑÐµÐ½ÐµÐ½Ð½ÑÐ¹ ÑÐµÐ¶Ð¸ÑÑÐµÑ-Ð»ÑÐ±Ð¸ÑÐµÐ»Ñ. Ð£ÑÐµÑÐ¾Ð² ÑÐ½Ð¸Ð¼Ð°ÐµÑ ÑÐ²Ð¾Ð¸ ÑÐ¸Ð»ÑÐ¼Ñ Ð½Ð° Ð»ÑÐ±Ð¸ÑÐµÐ»ÑÑÐºÑÑ ÐºÐ°Ð¼ÐµÑÑ. Ð ÑÑÐ¾ Ð¶Ðµ Ð²ÑÐµÐ¼Ñ ÑÐ¾ÑÑÐ¸Ð¹ÑÐºÐ¸Ðµ ÐºÐ¸Ð½Ð¾Ð°ÐºÐ°Ð´ÐµÐ¼Ð¸ÐºÐ¸ Ð¿ÑÐ¾Ð²Ð¾Ð´ÑÑ ÐºÐ¾Ð½ÐºÑÑÑ Â«Ð¡Ð°Ð¼ÑÐ¹ Ð»ÑÑÑÐ¸Ð¹ ÑÐ¸Ð»ÑÐ¼ Ð Ð¾ÑÑÐ¸Ð¸Â», Ð² ÑÐ¸Ð½Ð°Ð» ÐºÐ¾ÑÐ¾ÑÐ¾Ð³Ð¾ Ð²ÑÑÐ»Ð¸ 7 Ð¸Ð·Ð²ÐµÑÑÐ½ÐµÐ¹ÑÐ¸Ñ ÐºÐ¸Ð½Ð¾ÐºÐ°ÑÑÐ¸Ð½. ÐÐ¾ ÑÐµÑÐµÐ¼Ð¾Ð½Ð¸Ð¸ Ð¾Ð±ÑÑÐ²Ð»ÐµÐ½Ð¸Ñ Ð¿Ð¾Ð±ÐµÐ´Ð¸ÑÐµÐ»Ñ ÐºÐ... Ð¿Ð¾Ð´ÑÐ¾Ð±Ð½ÐµÐµ...

Ну и естественно хотелось бы это исправить.

Murdok · 2 Фев 2011

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

failometr · 2 Фев 2011

Непонятно откуда этот текст берется?! Я не нашел его на главной olimpkino.dp.ua/
Если с главной. То они не ту функцию используют для обрезания ютф8 строки и получается такая белеберда

Код:

ж�...     подробнее...

iconv конечно вариант, но не хороший, т.к. класс domDocument должен возвращать все в одной кодировке, а не в разных

UPD:
попробуй

PHP:

new domDocument('1.0', 'UTF-8')

parks · 2 Фев 2011

failometr написал(а):
Непонятно откуда этот текст берется?! Я не нашел его на главной olimpkino.dp.ua/
Если с главной. То они не ту функцию используют для обрезания ютф8 строки и получается такая белеберда

Код:

ж�... подробнее...

iconv конечно вариант, но не хороший, т.к. класс domDocument должен возвращать все в одной кодировке, а не в разных
UPD:
попробуй

PHP:

new domDocument('1.0', 'UTF-8')

К сожалению нечего помогло , наверно и вправду дело в обрезании текста , т.к каракули появляются после �...

dazed · 2 Фев 2011

Ваш php файл, перекодируйте в utf-8. Удобно это делать в notepad++

VandJ · 2 Фев 2011

parks написал(а):
К сожалению нечего помогло , наверно и вправду дело в обрезании текста , т.к каракули появляются после �...

Так и есть, если убрать �..., то все нормально.

PHP:

<?php 
$html =  file_get_contents ( 'http://www.olimpkino.dp.ua/' ); 
$html = preg_replace("'\..*?\.\.\.&nbsp'", "...&nbsp", $html); //Обрезает последние предложения в описании. 
  $dom = new domDocument; 
    @$dom->loadHTML($html); 
    $dom->preserveWhiteSpace = false; 
    $tables = $dom->getElementsByTagName('table'); 
    $rows = $tables->item(0)->getElementsByTagName('tr'); 
    foreach ($rows as $row) 
    { 
        $cols = $row->getElementsByTagName('td'); 
        echo $cols->item(0)->nodeValue.'<br>'; 
        echo $cols->item(1)->nodeValue.'<br>'; 
        echo '<hr>'; 
    } 
?>

parks · 2 Фев 2011

VandJ написал(а):

Так и есть, если убрать �..., то все нормально.

PHP:

<?php 
$html =  file_get_contents ( 'http://www.olimpkino.dp.ua/' ); 
$html = preg_replace("'\..*?\.\.\.&nbsp'", "...&nbsp", $html); //Обрезает последние предложения в описании. 
  $dom = new domDocument; 
    @$dom->loadHTML($html); 
    $dom->preserveWhiteSpace = false; 
    $tables = $dom->getElementsByTagName('table'); 
    $rows = $tables->item(0)->getElementsByTagName('tr'); 
    foreach ($rows as $row) 
    { 
        $cols = $row->getElementsByTagName('td'); 
        echo $cols->item(0)->nodeValue.'<br>'; 
        echo $cols->item(1)->nodeValue.'<br>'; 
        echo '<hr>'; 
    } 
?>

Спасибо разобрался , а как нащот этого

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

здесь всё в крокозяблах....

Archy1991 · 3 Фев 2011

parks написал(а):
К сожалению нечего помогло , наверно и вправду дело в обрезании текста , т.к каракули появляются после �...

поставь вместо

PHP:

new domDocument('1.0', 'UTF-8')

вот это:

PHP:

new domDocument('1.0', 'windows-1251')

и не должно быть каракуль

failometr · 3 Фев 2011

По непонятным причинам класс domdocument каждый байт в hex D0 превращал в C390, D1 -> C391 ну и собсно все остальные русские символы превращались в нечитабельный utf8. Не вдаваясь особо в шестнадцатиричную арифметику составил табличку.
Для данного случая возьми на вооружение функцию:

PHP:

function to_norm_utf8($str){
    $table = array(
"\xC3\x90\xC2\xA0"=>"\xD0\xA0", "\xC3\x90"=>"\xD0", "\xC3\x91"=>"\xD1", "\xC3\x92"=>"\xD2", "\xC2\x91"=>"\xD1",
    "\xC2\x90"=>"\x90", "\xC2\x91"=>"\x91", "\xC2\x92"=>"\x92", "\xC2\x93"=>"\x93", "\xC2\x94"=>"\x94",
 "\xC2\x95"=>"\x95", "\xC2\x81"=>"\x81", "\xC2\x96"=>"\x96", "\xC2\x97"=>"\x97", "\xC2\x98"=>"\x98",
 "\xC2\x99"=>"\x99", "\xC2\x9A"=>"\x9A", "\xC2\x9B"=>"\x9B", "\xC2\x9C"=>"\x9C", "\xC2\x9D"=>"\x9D",
 "\xC2\x9E"=>"\x9E", "\xC2\x9F"=>"\x9F", "\xC2\xA1"=>"\xA1", "\xC2\xA2"=>"\xA2", "\xC2\xA3"=>"\xA3",
 "\xC2\xA4"=>"\xA4", "\xC2\xA5"=>"\xA5", "\xC2\xA6"=>"\xA6", "\xC2\xA7"=>"\xA7", "\xC2\xA8"=>"\xA8",
 "\xC2\xA9"=>"\xA9", "\xC2\xAC"=>"\xAC", "\xC2\xAA"=>"\xAA", "\xC2\xAB"=>"\xAB", "\xC2\xAD"=>"\xAD",
 "\xC2\xAE"=>"\xAE", "\xC2\xAF"=>"\xAF", "\xC2\x86"=>"\x86", "\xC2\x87"=>"\x87", "\xC2\x84"=>"\x84",
 "\xC2\x90"=>"\x90", "\xC2\xB0"=>"\xB0", "\xC2\xB1"=>"\xB1", "\xC2\xB2"=>"\xB2", "\xC2\xB3"=>"\xB3",
 "\xC2\xB4"=>"\xB4", "\xC2\xB5"=>"\xB5", "\xC2\x91"=>"\x91", "\xC2\xB6"=>"\xB6", "\xC2\xB7"=>"\xB7",
 "\xC2\xB8"=>"\xB8", "\xC2\xB9"=>"\xB9", "\xC2\xBA"=>"\xBA", "\xC2\xBB"=>"\xBB", "\xC2\xBC"=>"\xBC",
 "\xC2\xBD"=>"\xBD", "\xC2\xBE"=>"\xBE", "\xC2\xBF"=>"\xBF", "\xC2\x80"=>"\x80", "\xC2\x81"=>"\x81",
 "\xC2\x82"=>"\x82", "\xC2\x83"=>"\x83", "\xC2\x84"=>"\x84", "\xC2\x85"=>"\x85", "\xC2\x86"=>"\x86",
 "\xC2\x87"=>"\x87", "\xC2\x88"=>"\x88", "\xC2\x89"=>"\x89", "\xC2\x8C"=>"\x8C", "\xC2\x8A"=>"\x8A",
 "\xC2\x8B"=>"\x8B", "\xC2\x8D"=>"\x8D", "\xC2\x8E"=>"\x8E", "\xC2\x8F"=>"\x8F", "\xC2\x96"=>"\x96",
 "\xC2\x97"=>"\x97", "\xC2\x94"=>"\x94", "\xC2\x91"=>"\x91", "\xC2\xA0"=>"\x20");
    $str = strtr($str, $table);//все &nbsp; станут пробелами -> " "
    return $str;
}

Использовать например вот так:

PHP:

echo to_norm_utf8($cols->item(1)->nodeValue).'<br>';

Символы, которые я использовал для составления этой таблицы:

Код:

АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЪЫЭЮЯІЇЄҐабвгдеёжзийклмнопрстуфхцчшщьъыэюяіїєґ

Т.е. всякие (c) (r) и прочие спецсимволы, кроме !"№;%:?... - нужно добавлять в таблицу.

parks · 3 Фев 2011

failometr написал(а):
По непонятным причинам класс domdocument каждый байт в hex D0 превращал в C390, D1 -> C391 ну и собсно все остальные русские символы превращались в нечитабельный utf8. Не вдаваясь особо в шестнадцатиричную арифметику составил табличку.
Для данного случая возьми на вооружение функцию:

PHP:

function to_norm_utf8($str){ $table = array( "\xC3\x90\xC2\xA0"=>"\xD0\xA0", "\xC3\x90"=>"\xD0", "\xC3\x91"=>"\xD1", "\xC3\x92"=>"\xD2", "\xC2\x91"=>"\xD1", "\xC2\x90"=>"\x90", "\xC2\x91"=>"\x91", "\xC2\x92"=>"\x92", "\xC2\x93"=>"\x93", "\xC2\x94"=>"\x94", "\xC2\x95"=>"\x95", "\xC2\x81"=>"\x81", "\xC2\x96"=>"\x96", "\xC2\x97"=>"\x97", "\xC2\x98"=>"\x98", "\xC2\x99"=>"\x99", "\xC2\x9A"=>"\x9A", "\xC2\x9B"=>"\x9B", "\xC2\x9C"=>"\x9C", "\xC2\x9D"=>"\x9D", "\xC2\x9E"=>"\x9E", "\xC2\x9F"=>"\x9F", "\xC2\xA1"=>"\xA1", "\xC2\xA2"=>"\xA2", "\xC2\xA3"=>"\xA3", "\xC2\xA4"=>"\xA4", "\xC2\xA5"=>"\xA5", "\xC2\xA6"=>"\xA6", "\xC2\xA7"=>"\xA7", "\xC2\xA8"=>"\xA8", "\xC2\xA9"=>"\xA9", "\xC2\xAC"=>"\xAC", "\xC2\xAA"=>"\xAA", "\xC2\xAB"=>"\xAB", "\xC2\xAD"=>"\xAD", "\xC2\xAE"=>"\xAE", "\xC2\xAF"=>"\xAF", "\xC2\x86"=>"\x86", "\xC2\x87"=>"\x87", "\xC2\x84"=>"\x84", "\xC2\x90"=>"\x90", "\xC2\xB0"=>"\xB0", "\xC2\xB1"=>"\xB1", "\xC2\xB2"=>"\xB2", "\xC2\xB3"=>"\xB3", "\xC2\xB4"=>"\xB4", "\xC2\xB5"=>"\xB5", "\xC2\x91"=>"\x91", "\xC2\xB6"=>"\xB6", "\xC2\xB7"=>"\xB7", "\xC2\xB8"=>"\xB8", "\xC2\xB9"=>"\xB9", "\xC2\xBA"=>"\xBA", "\xC2\xBB"=>"\xBB", "\xC2\xBC"=>"\xBC", "\xC2\xBD"=>"\xBD", "\xC2\xBE"=>"\xBE", "\xC2\xBF"=>"\xBF", "\xC2\x80"=>"\x80", "\xC2\x81"=>"\x81", "\xC2\x82"=>"\x82", "\xC2\x83"=>"\x83", "\xC2\x84"=>"\x84", "\xC2\x85"=>"\x85", "\xC2\x86"=>"\x86", "\xC2\x87"=>"\x87", "\xC2\x88"=>"\x88", "\xC2\x89"=>"\x89", "\xC2\x8C"=>"\x8C", "\xC2\x8A"=>"\x8A", "\xC2\x8B"=>"\x8B", "\xC2\x8D"=>"\x8D", "\xC2\x8E"=>"\x8E", "\xC2\x8F"=>"\x8F", "\xC2\x96"=>"\x96", "\xC2\x97"=>"\x97", "\xC2\x94"=>"\x94", "\xC2\x91"=>"\x91", "\xC2\xA0"=>"\x20"); $str = strtr($str, $table);//все   станут пробелами -> " " return $str; }

Использовать например вот так:

PHP:

echo to_norm_utf8($cols->item(1)->nodeValue).'<br>';

Символы, которые я использовал для составления этой таблицы:

Код:

АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЪЫЭЮЯІЇЄҐабвгдеёжзийклмнопрстуфхцчшщьъыэюяіїєґ

Т.е. всякие (c) (r) и прочие спецсимволы, кроме !"№;%:?... - нужно добавлять в таблицу.

А можно выложить эту функцию в составе скрипта , а то меня ошибки уже задолбали .(Кстате в конце нехватает "}")

Парсинг html (кодировка)

parks

Постоялец

Murdok

Гуру форума

failometr

Постоялец

parks

Постоялец

dazed

Гуру форума

VandJ

Постоялец

parks

Постоялец

Archy1991

Постоялец

failometr

Постоялец

parks

Постоялец