uCoz grabber UPDATE 05.08.2009

Тема в разделе "Коммерческие", создана пользователем Lavrik, 10 авг 2009.

Информация :
Публиковать (для всех) нуленые версии, особенно от modulesgarden КАТЕГОРИЧЕСКИ не стоит. Тема мониторится оным разработчиком, а к нам приходят абузы которые нельзя игнорировать.
Модераторы: Amazko, Aste
  1. Lavrik

    Lavrik Создатель

    Регистр.:
    12 май 2006
    Сообщения:
    15
    Симпатии:
    24
    Описание:
    Универсальный граббер с DLE сайтов на uCoz (модуль новости)

    Краткое инфо по пользованию граббера:

    1. Требования к хостингу
    • Версия PHP >= 5;
    • Должна присутствовать библиотека iconv;
    • Хостинг должен быть с поддержкой сокетов.
    2. Установка
    1) Залейте содержимое скрипта на хостинг.
    2) Установите на директорию cache права на запись(chmod 777).

    3. Настройка
    Откройте файл config.php
    Впишите ваш домен на укозе:
    Код:
    $_cfg['ucoz']['site'] = 'www.ru';
    Установите логин администатора/модератора/репортера и его пароль:
    Код:
    $_cfg['ucoz']['login'] = 'lavrik';
    $_cfg['ucoz']['password'] = '785fgsd24asd';
    3. Как пользоваться?
    Зайдите через браузер http://your_site.ru/grabber_path/
    В поле about:blank впишите адрес DLE сайта с которого будите граббить и жмите энтер

    В новой версии реализовано:
    • Возможность использовать синонимайзер
    • Возможность создавать правила для граббинга с любых сайтов(подобных DLE)
    Исправленно:
    • Ставить ссылки в теги <noindex></noindex> $_cfg['grabber']['savecontents'] = TRUE; // TRUE - вкл. FALSE - выкл.
    • Возможность создавать правила для граббинга с любых сайтов(подобных DLE)

    Как пропускать содержимое новостей через синонимайзер:

    ГЛАВНОЕ: для того чтоб вы могли использовать данную опцию у вас должен быть синонимайзер! Я рекомендую SmartRewriter
    1) Установите в конфиге
    Код:
    $_cfg['grabber']['savecontents'] = FALSE;
    на
    Код:
    $_cfg['grabber']['savecontents'] = TRUE;
    2) Установите на директорию contents права на запись(chmod 777)
    3) Добавляйте новости как раньше они появятся в папке contents (!! кодировка файлов будет в UTF-8 !!)
    4) Пропустите содержимое директории contents через синонимайзер
    5) Зайдите через браузер в http://your_site.ru/grabber_path/ на главной странице будет ссылка Залить контент нажмите ее. И ожидайте пока контент будет заливается

    Как создавать правила для граббинга с любых сайтов:

    1) Откройте файл mysites.txt
    2) korrespondent.net меняете на сайт который будите граббить
    3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
    допустим это <div id='news-id и его закрывающий элемент допустим это </td></tr>
    Между ними поставьте (.*)
    Получится <div id='news-id(.*)</td></tr>
    4) [title], [small], [fulllink], [full] - работает по тому же принципу что и [style]
    5) [qpage] Фрагмет HTML кода со страницами
    Ищет последнюю страницу страницу автоматически
    6) [page] - url формат страниц
    Например, есть ссылка - http://0day.kiev.ua/modules.php?name=News&pagenum=2
    Формат [page] Будет такой http://0day.kiev.ua/modules.php?name=News&pagenum=(.*)
    7) Список функций и их предназначение:
    @striptags - Ф-ция удаляет теги
    @clean - Ф-ция удаляет лишние пробелы, табуляции и тд.
    @htmltobb - Ф-ция преобразует HTML код в BB коды
    @rm(value) - Ф-ция удаляет содержимое value с текста (например ...)
    Описание функций: @a, @a.ТЕГ, @a(текст)б @restart и @emptyhtml
    Допустим вам надо поставить имя автора в начале текста или в конце
    Например:
    <td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
    То для того чтоб поставить автора в начало необходимо выполнить такие команды
    [full]
    @a([b ]Автор:[/b ])
    Автор: (.*)</td>
    @a
    @restart
    id='news-(.*)</div>
    '>Новость: (.*)
    @a.center
    @emptyhtml
    Ф-ция @a - выполняет добавление содержимого в поток
    Ф-ция @a.center - выполнит добавление в поток + содержимое будет в тегах
    Ф-ция @restart - загрузит нетронутый HTML код ( после выполнения команды Автор: (.*) текст для обработки будет Vasya для того чтоб он обрел первичный вид:
    Код:
    <td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
    надо выполнить команду @restart )
    Ф-ция @emptyhtml - в конце обработки сценария [small], [full], [title] обработанный текст автоматически добавляется в поток для того чтоб этого не случилось :), используйте данную функцию
    Если сайт в кодировке UTF-8 то следует использовать функцию @utf
    8) Ну это, пожалуй и все :) запускайте браузер вводите http://your_site.ru/grabber_path/ и начинайте граббить сайт

    Скачать
     
    Delk0, ghostgt, ShoxMaster и 12 другим нравится это.
  2. Pup_vseya

    Pup_vseya Создатель

    Регистр.:
    20 ноя 2008
    Сообщения:
    27
    Симпатии:
    2
    Спасибо, друг! Реальное спасибо, даже не сколько от юкозника, а сколько от начинающего phpшкика ;) Надеюсь создам что нить пл образу и подобию для себя. ;)

    П.С. как лицуха на скрипт? Можно ли мод (если такой вообще будет) выложить с сохранением всех авторских ;) ?
     
    PRmaker нравится это.
  3. Lavrik

    Lavrik Создатель

    Регистр.:
    12 май 2006
    Сообщения:
    15
    Симпатии:
    24
    Выкладывай :)

    Ну напишии созданно на базе MyGrabber (c) Lavrik
     
  4. ^Rosario

    ^Rosario Создатель

    Регистр.:
    14 июл 2009
    Сообщения:
    17
    Симпатии:
    1
    Обидно

    Я замучился уже с этими правилами добавления новостей..:(

    тем более,сайт который я хочу грабануть,стоит на Дле,но граббер почему-то думает что он не ДЛЕ.И таким образом я решил создать правило,но я тока на первом шаге затмился.

    Написано некорректный адресс. Да я думаю я ещо кучу ошибок в этих правилах наделал..:(
     
  5. itkhm

    itkhm Писатель

    Регистр.:
    31 июл 2009
    Сообщения:
    8
    Симпатии:
    1
    Скажите, а скрытый текс грабит?
     
  6. pess_

    pess_ Создатель

    Заблокирован
    Регистр.:
    10 мар 2009
    Сообщения:
    21
    Симпатии:
    0
    Спасибо огромное авторам этого скрипта, все отлично работает, рекомендую данный скрипт под хайд спрятать :)

    Добавлено через 22 секунды
    Нет не грабит!
     
  7. pess_

    pess_ Создатель

    Заблокирован
    Регистр.:
    10 мар 2009
    Сообщения:
    21
    Симпатии:
    0
    Ребят у всех перестал работать? Вчера все было гуд, а сегодня новости перестали добавляться на сайт, в чем может быть причина? Ни чего не менял, может какой нибудь апдейт юкоза тому вина?
     
  8. simpliex

    simpliex Писатель

    Регистр.:
    29 июн 2009
    Сообщения:
    4
    Симпатии:
    0
    Тоже тупит чёто :(
     
  9. extdiz

    extdiz Создатель

    Заблокирован
    Регистр.:
    15 фев 2008
    Сообщения:
    36
    Симпатии:
    25
    тс как сделать чтобы скрипт сам добавлял на автомате все стр
    или там тока в ручную
     
  10. pess_

    pess_ Создатель

    Заблокирован
    Регистр.:
    10 мар 2009
    Сообщения:
    21
    Симпатии:
    0
    Народ посоветуйте бесплатный хостинг под этот скрипт ч поддержкой:
    PHP 5
    Должна присутствовать библиотека iconv;
    Хостинг должен быть с поддержкой сокетов
    За ранее спасибо!

    Кстати кто нибудь разобрался как новости с фильмами грабить где есть предустановлены плеер? Возможно ли это реализовать?