Чем собрать url страниц по шаблону?

[danneo]

Нужно собрать все страницы на сайте, чтобы добавить потом в Яндекс. Но страницы по шаблону, чтобы не было результатов поиска и прочих ссылок.
Чем это можно быстро и бесплатно собрать?

 

[Grigirij]

если сайт на движке, то сделайл/сгенерь средствами двига sitemap.xml
а от туда уже вытяни все ссылки

 

[danneo]

если сайт на движке, то сделайл/сгенерь средствами двига sitemap.xml
а от туда уже вытяни все ссылки

не понял. Ну есть у меня sitemap.xml и что делать, как достать? Вопрос в этом и заключается, как их скомпоновать в список? Мне нужно убрать там лишние ссылки, типа категорий и прочих страниц. Нужны только с содержанием, по шаблону url отличаются. Например, /a-1(2,3,4,5,6, и тд.).html

 

[Lazy_bones]

Вы добавлять в аддурл руками будете или тоже программно? Я решаю данную задачу так. В зенопостере создаю проект, который из sitemap.xml с помощью регулярных выражений забирает нужные мне страницы. Ведь как правило страницы разделов не имеют на конце .html и используя это можно легко составить регулярное выражение и взять только нужное. А после по очереди добавляю в аддурл и разгадывание капчи. Если нет лицензии, то есть ломанная 3 версия зеннлпостера, которая собрать дак точно сможет. Если будет проблема с регуляркой, пиши в личку, помогу, но нужен будет адрес сайта, чтобы все нормально составить

 

[shuran]

Попробуйте эту прогу. Можно много чело настроить, фильтры например по страницам точно есть.

A1 Sitemap Generator

Утилита позволяет создавать карты web сайтов в форматах текста, HTML, RSS и XML

Создает текстовый, HTML, RSS и XML карты сайта (sitemaps) для того, чтобы выгрузить их на поисковые системы типа Google/Yahoo/Yandex для того, чтобы улучшить сканирование этими поисковиками вашего сайта.

 

[makka]

А я использовал Unlimited Sitemap Generator для сайта с более 20000 ссылок.
Плюс ставил в планировщик для прогона каждый день.Прога очень удобна и проста.

 

[TopReseller]

Запусти бесплатную программу Xenu, она соберет и проверит все страницы сайта, там есть экспорт

 

[Alfi]

Content Dowloder думаю может помочь в некоторых случаях.

 

[TopReseller]

Content Dowloder думаю может помочь в некоторых случаях.

Она платная, и для разовой работы нет смысла ее покупать.
Хотя программа суперская

 

[Lazy_bones]

Она платная, и для разовой работы нет смысла ее покупать.
Хотя программа суперская

нулл также лежит в паблике и прекрасно работает. Но только как то тс пропал из темы ....