1. Уважаемые пользователи, прежде чем ответить в теме или создать новую,
    внимательно ознакомьтесь с правилами раздела

    Кому лень работать или руки не оттуда - пользуйтесь услугами специалистов
  2. Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.."

    Есть JED!!! Ищите там!!!

Компонент Joomla для парсинга, постинга и кросспостинга.

Тема в разделе "Joomla", создана пользователем makia, 9 май 2011.

Информация :
  • Уважаемые пользователи, прежде чем ответить в теме или создать новую, внимательно ознакомьтесь с правилами раздела
  • Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.." Есть JED!!! Ищите там!!!
  • Аналоги ищите там же - на JED!!!
  • Новая версия? - У кого будет - тот выложит!
Статус темы:
Закрыта.
Модераторы: arman29, DMS, Genk0
  1. makia

    makia

    Регистр.:
    23 сен 2006
    Сообщения:
    273
    Симпатии:
    145
    Есть сайт на Joomla. Решил размещать на нем контент с других сайтов + кросспостить опубликованные статьи в блоговые сервисы.

    Понятно, что:
    1. можно ручками все копировать и публиковать
    2. можно заюзать тот же Content Downloader для массового парсинга и обработки контента
    3. можно поставить плагин кросспостинга и пусть себе кросспостит.

    Но вот что делать, если статьи на сайте-доноре публикуются периодически? Например, опубликовали новую статью. RSS на сайте-доноре нет. Приходится либо снова заходить на сайт-донор и все мониторить либо запускать тот же Content Downloader по настроенному ранее шаблону, парсить, редактировать и в ручную публиковать.

    Хочется некоторого автоматизма действий :)

    Готово решения (скрипта/компонента) не нашел. Поэтому составил небольшое ТЗ под компонент Joomla. Прошу оценить его актуальность:
    Компонент Joomla для парсинга, постинга и кросспостинга.

    Задача: написать скрипт/компонент, который будет парсить статьи с другого сайта, постить их на моем сайте в соответствующем разделе, кросспостить.

    Немного подробнее о задаче:

    1. Универсальный компонент:
    - возможность установки на любую версию Joomla (1.5 и/или 1.6).
    - возможность парсинга практически любого сайта (HTML/SMS).
    2. Парсинг статей по крону (N раз в неделю).
    3. Возможность парсинга из определенного раздела сайта-донора (возможность самостоятельно прописать раздел/путь каталога для парсинга).
    4. Возможность самостоятельно задавать границы парсинга заголовка, основного текста и доп. полей из контента страницы (кол-во дополнительных границ парсинга неограничено).
    5. Исключить повторный парсинг одной и той же статьи (например, по URL и/или заголовку)
    6. Возможность публикации спаршенных статей в соответствующем разделе/разделах моего сайта.
    7. Возможность настройки неограниченного числа групп парсинга и постинга.
    Например:
    - первая группа парсит из раздела новости сайта-донора №1 и публикует спаршенный материал у меня на сайте в разделе новости,
    - вторая группа парсит из раздела статьи сайта-донора №2 и публикует спаршенный материал у меня на сайте в разделе статьи,
    - третья группа парсит из раздела материалы сайта-донора №3 и публикует спаршенный материал у меня на сайте в разделе новости параллельно с парсингом/постингом из группы №1 и т.д.
    9. Возможность настроить шаблон вывода спаршенного материала у меня на сайте (формат, определенный HTML-код и тп). Кол-во шаблонов вывода на моем сайте неограниченно.
    10. Возможность установки даты создания спаршенной статьи в зависимости от даты публикации данной статьи на сайте-доноре (задается определенными границами парсинга).
    11. Возможность установки даты публикации статьи в соответствии с датой ее публикации либо с интревалом (интервал, например, задется в шаблоне: задержка публикации N дней).
    12. Проверка кол-ва символов в спаршенной статье на установленный минимум (если символов в спаршенной статье меньше, чем указано мной, статья на моем сайте не создается).
    13. Возможность указания стоп-слов (если стоп-слова присутствуют в материале на сайте-доноре, то статья не парсится).
    14. Возможность указать в настройках скрипта правила парсинга рисунков:
    - парсить контент с сохранением ссылок на рисунки на сайте-доноре (без физического копирования рисунков),
    - парсить, сохраняя рисунки на мой хост (без сохранения ссылок на сайт-донор).
    15. Автоматическая замена выражений в спаршенной статье по маске.
    16. Кросспостинг части спаршенной и опубликованной статьи на один из популярных блоговых сервисов (по крону либо по факту публикации статьи на моем сайте)).


    Как думаете, реально? И сколько может стоить сие решение?

    Заранее спасибо за советы!
     
  2. bork75

    bork75 Д☼брая собака )

    Регистр.:
    21 июн 2008
    Сообщения:
    1.449
    Симпатии:
    716
    makia нравится это.
  3. VirKing

    VirKing Постоялец

    Регистр.:
    12 мар 2008
    Сообщения:
    51
    Симпатии:
    2
    Можно уменьшить хайд ? Не хочется постить тупо ...
     
  4. ukrmedshpora

    ukrmedshpora Постоялец

    Регистр.:
    11 апр 2007
    Сообщения:
    145
    Симпатии:
    37
    Да там просто ссылка на оффсайтNewsGrabberJC , непонятно почему такой хайд.
     
Статус темы:
Закрыта.