Как собрать урл и титл страниц?

Тема в разделе "Вопросы новичков", создана пользователем danneo, 17 окт 2009.

Статус темы:
Закрыта.
  1. danneo

    danneo Честный

    Регистр.:
    13 ноя 2007
    Сообщения:
    1.453
    Симпатии:
    113
    Нужно с сайта собрать все урл всех страниц, при этом взять их титлы, желательно несколько первых слов. А далее сделать анкоры.
    Как это можно все устроить?
     
  2. Ad1ce

    Ad1ce Постоялец

    Регистр.:
    18 авг 2009
    Сообщения:
    109
    Симпатии:
    25
    Если имеется доступ к базе данных, то можно через нее. К примеру на вордпресс все это делается за один запрос.
    Если доступа нет, то урлы можно получить при помощи программ для построения карты сайта. Тайтлы - легким путем никак.
     
  3. solarscape

    solarscape Постоялец

    Регистр.:
    19 июл 2009
    Сообщения:
    109
    Симпатии:
    8
    Вот хорошая прога для создания карт сайтов:
    http://wonderwebware.com/sitemap-generator/SiteMapG.exe

    А чтобы вытянуть тайтлы нужен какой-нибудь парсер контента, чтобы в нем можно было подобрать свое регулярное выражение.

    Урлов много?
     
  4. ant1-pa

    ant1-pa

    Регистр.:
    3 ноя 2007
    Сообщения:
    448
    Симпатии:
    96
    можешь попробовать скриптом sibir textmaker, им можно такое замутить.
     
  5. tatams

    tatams

    Регистр.:
    15 май 2009
    Сообщения:
    501
    Симпатии:
    84
    Если не через CMS, то либо карта (забиваете на первые слова), либо берёте список Урлов и травите на распарс титла:
    eregi("<title>(.*)</title>", $val, $title);
    $page_title = $title[1];

    + допиливаете для распарса своей контентной части
     
  6. Dozor2

    Dozor2

    Регистр.:
    18 дек 2007
    Сообщения:
    328
    Симпатии:
    155
    Если я правельно понял сабж...
    Собрать урлы всех страниц можно через проги или сервисы для создания карты сайта, а тайтлы по этим урлам аллсабом получить.
    Далее как я понял требуется получитб список вида: <а href="урл">тайтл</а> ?
    Если так, то из аллсаба экспортируем в Excel и там через "сцепить" получаем результат.
    Если для одного или нескольких сайтов требуется, то можно так. Если больше то это достаточно геморно будет.
     
  7. ShadowDamballah

    ShadowDamballah Постоялец

    Регистр.:
    18 сен 2009
    Сообщения:
    56
    Симпатии:
    10
    Если это надо для анализа или чего-то похожего, то ТС нужен спайдер на PHP+Curl например, те немного доработанный парсер
     
  8. Crucifer

    Crucifer

    Регистр.:
    6 фев 2007
    Сообщения:
    517
    Симпатии:
    249
    Сначала создай карту сайта а потом со списком урл пройдись прогой Title Checker и собери тайтлы этих страниц. Отсечь и соместить урлы и тайтлы сможешь далее в Text Pipe Pro.

    Собрался двигать товары по НЧ? :)
     
  9. alex-bot

    alex-bot Nulled-Man

    Регистр.:
    4 май 2007
    Сообщения:
    498
    Симпатии:
    144
    Есть хорошая десктопная прога для таких целей WDE 6.1 (Web Data Extractor ) работает быстро много чего может... URL + все метатеги... на форуме тут даже была.
     
Статус темы:
Закрыта.