uCoz grabber UPDATE 05.08.2009

[Treket]

karmanxxx, большое спасибо - работает!

Кто знает, подскажите как настроить синонимизаотр от Vipbablo_WebGrabber, для uCoz grabber

Если это уже было на форуме, тогда дайте ссылку. Потому что я найти не смог

 

[kisnik]

что на выходе html страницы с css, java или что то большее?

 

[kolyan12]

Привет , как сделать чтоб граббер для юкоза добавлял и онлайн фильмы? Ответь если знаешь, очень надо.:bc:

 

[jax33]

3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это <div id='news-id и его закрывающий элемент допустим это </td></tr>
Между ними поставьте (.*)
Получится <div id='news-id(.*)</td></tr>


-------

не понял где это искать ( напишите подробно )
и еще: почему то у меня нет категорий ( ну куда типа грабить )

 

[ShoxMaster]

3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это <div id='news-id и его закрывающий элемент допустим это </td></tr>
Между ними поставьте (.*)
Получится <div id='news-id(.*)</td></tr>
-------
не понял где это искать ( напишите подробно )

Открываешь исходный код страницы с новостями и смотришь в какие теги "обрамляется" новость

и еще: почему то у меня нет категорий ( ну куда типа грабить )

Или их у тебя нет или проблемы с входом на UcoZ. Создай админа ещё одного и через него пробуй добавлять

 

[jax33]

ок? щас попробую

а за это яндекс не забанит ?

Добавлено через 6 минут
Блин всё равно категории не показывает ,,,

а в настройках скрипта надо где настраивать их ( ну типа имя или ид категори прописывать ) ?

Добавлено через 11 минут
теперь категории добавляются , но жму добавить , , после захожу на сайт а там пусто

Добавлено через 20 минут
может это причина:

в настройках новостей (юкоза) настройки полей , отмечено , название крат.описание и полная новость ,,,, при добавление тока одно поле ( ну не считая название ) как я понял в него пишешь всю новость а там уже определённое количевство символов ( у меня 1000 ) идёт в крат. описание

вот я думаю может иза этого не может добавить ?

Добавлено через 28 минут
во теперь появилось поле для крат. описания , но всё равно новость не грабится

напиши всё что надо вписать в настройках ( для сайта который грабишь )

Добавлено через 32 минуты
Блин теперь новость добавилась , но в самом грабе не выводится название ( ну это вроде иза title ) у меня почему стал грабится другой сайт ( хотя я не чё не изменял )

Добавлено через 42 минуты
вот стандартный файл настроек ( сначало всё было норм , открывался тот сайт который я вписывал ) а теперь после изменения

#Страницы
[page]
# (.*) или (*.) - номер стр.
Для просмотра ссылки Войди или Зарегистрируйся


на свой у меня стало выдавать ошибку

Warning: file_get_contents(Для просмотра ссылки Войди или Зарегистрируйся) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found in H:\home\localhost\www\grab\mysites.php on line 160

(Для просмотра ссылки Войди или Зарегистрируйся) почему то стала добавлятся однёрка ( а может так и должно быть )

/all/world/2009/ ( изначальные настройки) как я понимаю типа категории новостей , я так же добавил (точнее заменил на site.sru/scripter/halyva/


вот и вот и стало обибку выдавать , а как вернул старую ссылку у меня стал открываться сайт который в изначальных настойках был

---------- Post added at 22:04 ---------- Previous post was at 20:53 ----------

щас попоробывал вот так
написать

#Страницы
[page]
# (.*) или (*.) - номер стр.
Для просмотра ссылки Войди или Зарегистрируйся

#Опредиление количества страниц
[qpage]
<p align="right">(*.)<a class="spys" href="http://benefisfilms.ru/page/

для примера взял сайт benefisfilms.ru

а мне выдаёт ошибку "Сайт не на движке DLE или на нем нет новостей"

чё делать ? или я чё то не так делаю , обьясните PLZ

 

[jax33]

народ подскажите (если конечно такое возможно ) чтоб на странице открывалось больше страниц ( ну типа чтоб по больше добавлять за один раз )

 

[oxxxy]

Не понимаю, а чем он лучше стандартного граббера от юкоз?

Добавлено через 59 минут
странно, но тоже прикол с категориями, добавил кучу их, новости парсятся, но в скрипте категории нету ниодной.

 

[oxxxy]

разобрался)))
осталось найти, как сделать так, что бы грабить не одну страницу с сайта, а например сразу 10?

 

[kolyan12]

Как сделать чтоб он фильмы онлайн добавлял?

Описание:
Универсальный граббер с DLE сайтов на uCoz (модуль новости)
Краткое инфо по пользованию граббера:
1. Требования к хостингу

• Версия PHP >= 5;
• Должна присутствовать библиотека iconv;
• Хостинг должен быть с поддержкой сокетов.

2. Установка
1) Залейте содержимое скрипта на хостинг.
2) Установите на директорию cache права на запись(chmod 777).
3. Настройка
Откройте файл config.php
Впишите ваш домен на укозе:

$_cfg['ucoz']['site'] = 'www.ru';

Установите логин администатора/модератора/репортера и его пароль:

$_cfg['ucoz']['login'] = 'lavrik';
$_cfg['ucoz']['password'] = '785fgsd24asd';

3. Как пользоваться?
Зайдите через браузер Для просмотра ссылки Войди или Зарегистрируйся
В поле about:blank впишите адрес DLE сайта с которого будите граббить и жмите энтер
В новой версии реализовано:

• Возможность использовать синонимайзер
• Возможность создавать правила для граббинга с любых сайтов(подобных DLE)

Исправленно:

• Ставить ссылки в теги <noindex></noindex> $_cfg['grabber']['savecontents'] = TRUE; // TRUE - вкл. FALSE - выкл.
• Возможность создавать правила для граббинга с любых сайтов(подобных DLE)

Как пропускать содержимое новостей через синонимайзер:
ГЛАВНОЕ: для того чтоб вы могли использовать данную опцию у вас должен быть синонимайзер! Я рекомендую Для просмотра ссылки Войди или Зарегистрируйся
1) Установите в конфиге

$_cfg['grabber']['savecontents'] = FALSE;

на

$_cfg['grabber']['savecontents'] = TRUE;

2) Установите на директорию contents права на запись(chmod 777)
3) Добавляйте новости как раньше они появятся в папке contents (!! кодировка файлов будет в UTF-8 !!)
4) Пропустите содержимое директории contents через синонимайзер
5) Зайдите через браузер в Для просмотра ссылки Войди или Зарегистрируйся на главной странице будет ссылка Залить контент нажмите ее. И ожидайте пока контент будет заливается
Как создавать правила для граббинга с любых сайтов:
1) Откройте файл mysites.txt
2) korrespondent.net меняете на сайт который будите граббить
3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это <div id='news-id и его закрывающий элемент допустим это </td></tr>
Между ними поставьте (.*)
Получится <div id='news-id(.*)</td></tr>
4) [title], [small], [fulllink], [full] - работает по тому же принципу что и [style]
5) [qpage] Фрагмет HTML кода со страницами
Ищет последнюю страницу страницу автоматически
6) [page] - url формат страниц
Например, есть ссылка - Для просмотра ссылки Войди или Зарегистрируйся
Формат [page] Будет такой Для просмотра ссылки Войди или Зарегистрируйся)
7) Список функций и их предназначение:
@striptags - Ф-ция удаляет теги
@clean - Ф-ция удаляет лишние пробелы, табуляции и тд.
@htmltobb - Ф-ция преобразует HTML код в BB коды
@rm(value) - Ф-ция удаляет содержимое value с текста (например ...)
Описание функций: @a, @a.ТЕГ, @a(текст)б @restart и @emptyhtml
Допустим вам надо поставить имя автора в начале текста или в конце
Например:
<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
То для того чтоб поставить автора в начало необходимо выполнить такие команды
[full]
@a([b ]Автор:[/b ])
Автор: (.*)</td>
@a
@restart
id='news-(.*)</div>
'>Новость: (.*)
@a.center
@emptyhtml
Ф-ция @a - выполняет добавление содержимого в поток
Ф-ция @a.center - выполнит добавление в поток + содержимое будет в тегах

​

Ф-ция @restart - загрузит нетронутый HTML код ( после выполнения команды Автор: (.*) текст для обработки будет Vasya для того чтоб он обрел первичный вид:

<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>

надо выполнить команду @restart )
Ф-ция @emptyhtml - в конце обработки сценария [small], [full], [title] обработанный текст автоматически добавляется в поток для того чтоб этого не случилось , используйте данную функцию
Если сайт в кодировке UTF-8 то следует использовать функцию @utf
8) Ну это, пожалуй и все запускайте браузер вводите Для просмотра ссылки Войди или Зарегистрируйся и начинайте граббить сайт
Для просмотра ссылки Войди или Зарегистрируйся

Как сделать чтоб он добавлял онлайн фильмы?

Добавлено через 14 минут

Я замучился уже с этими правилами добавления новостей..
тем более,сайт который я хочу грабануть,стоит на Дле,но граббер почему-то думает что он не ДЛЕ.И таким образом я решил создать правило,но я тока на первом шаге затмился.
Написано некорректный адресс. Да я думаю я ещо кучу ошибок в этих правилах наделал..

тоже бывает сайт найду отличн. хочу грабнуть а он мне: не на дле, хотя знаю 100% что дле.