Как собрать урл и титл страниц?

[danneo]

Нужно с сайта собрать все урл всех страниц, при этом взять их титлы, желательно несколько первых слов. А далее сделать анкоры.
Как это можно все устроить?

 

[Ad1ce]

Если имеется доступ к базе данных, то можно через нее. К примеру на вордпресс все это делается за один запрос.
Если доступа нет, то урлы можно получить при помощи программ для построения карты сайта. Тайтлы - легким путем никак.

 

[solarscape]

Вот хорошая прога для создания карт сайтов:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

А чтобы вытянуть тайтлы нужен какой-нибудь парсер контента, чтобы в нем можно было подобрать свое регулярное выражение.

Урлов много?

 

[ant1-pa]

можешь попробовать скриптом sibir textmaker, им можно такое замутить.

 

[tatams]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Dozor2]

Если я правельно понял сабж...
Собрать урлы всех страниц можно через проги или сервисы для создания карты сайта, а тайтлы по этим урлам аллсабом получить.
Далее как я понял требуется получитб список вида: <а href="урл">тайтл</а> ?
Если так, то из аллсаба экспортируем в Excel и там через "сцепить" получаем результат.
Если для одного или нескольких сайтов требуется, то можно так. Если больше то это достаточно геморно будет.

 

[ShadowDamballah]

Если это надо для анализа или чего-то похожего, то ТС нужен спайдер на PHP+Curl например, те немного доработанный парсер

 

[Crucifer]

Нужно с сайта собрать все урл всех страниц, при этом взять их титлы, желательно несколько первых слов. А далее сделать анкоры.
Как это можно все устроить?

Сначала создай карту сайта а потом со списком урл пройдись прогой Title Checker и собери тайтлы этих страниц. Отсечь и соместить урлы и тайтлы сможешь далее в Text Pipe Pro.

Собрался двигать товары по НЧ?

 

[alex-bot]

Есть хорошая десктопная прога для таких целей WDE 6.1 (Web Data Extractor ) работает быстро много чего может... URL + все метатеги... на форуме тут даже была.