Чем собрать url страниц по шаблону?

Тема в разделе "Вопросы новичков", создана пользователем danneo, 18 авг 2013.

Статус темы:
Закрыта.
  1. danneo

    danneo Честный

    Регистр.:
    13 ноя 2007
    Сообщения:
    1.418
    Симпатии:
    109
    Нужно собрать все страницы на сайте, чтобы добавить потом в Яндекс. Но страницы по шаблону, чтобы не было результатов поиска и прочих ссылок.
    Чем это можно быстро и бесплатно собрать?
     
  2. Grigirij

    Grigirij $$$

    Регистр.:
    25 сен 2008
    Сообщения:
    693
    Симпатии:
    329
    если сайт на движке, то сделайл/сгенерь средствами двига sitemap.xml
    а от туда уже вытяни все ссылки
     
  3. danneo

    danneo Честный

    Регистр.:
    13 ноя 2007
    Сообщения:
    1.418
    Симпатии:
    109
    не понял. Ну есть у меня sitemap.xml и что делать, как достать? Вопрос в этом и заключается, как их скомпоновать в список? Мне нужно убрать там лишние ссылки, типа категорий и прочих страниц. Нужны только с содержанием, по шаблону url отличаются. Например, /a-1(2,3,4,5,6, и тд.).html
     
  4. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    Вы добавлять в аддурл руками будете или тоже программно? Я решаю данную задачу так. В зенопостере создаю проект, который из sitemap.xml с помощью регулярных выражений забирает нужные мне страницы. Ведь как правило страницы разделов не имеют на конце .html и используя это можно легко составить регулярное выражение и взять только нужное. А после по очереди добавляю в аддурл и разгадывание капчи. Если нет лицензии, то есть ломанная 3 версия зеннлпостера, которая собрать дак точно сможет. Если будет проблема с регуляркой, пиши в личку, помогу, но нужен будет адрес сайта, чтобы все нормально составить
     
  5. shuran

    shuran

    Регистр.:
    4 июн 2010
    Сообщения:
    237
    Симпатии:
    70
    Попробуйте эту прогу. Можно много чело настроить, фильтры например по страницам точно есть.

    A1 Sitemap Generator

    Утилита позволяет создавать карты web сайтов в форматах текста, HTML, RSS и XML

    Создает текстовый, HTML, RSS и XML карты сайта (sitemaps) для того, чтобы выгрузить их на поисковые системы типа Google/Yahoo/Yandex для того, чтобы улучшить сканирование этими поисковиками вашего сайта.
     
    danneo нравится это.
  6. makka

    makka Создатель

    Регистр.:
    17 дек 2012
    Сообщения:
    29
    Симпатии:
    3
    А я использовал Unlimited Sitemap Generator для сайта с более 20000 ссылок.
    Плюс ставил в планировщик для прогона каждый день.Прога очень удобна и проста.
     
  7. TopReseller

    TopReseller

    Регистр.:
    30 июл 2011
    Сообщения:
    283
    Симпатии:
    89
    Запусти бесплатную программу Xenu, она соберет и проверит все страницы сайта, там есть экспорт
     
  8. Alfi

    Alfi Создатель

    Регистр.:
    15 мар 2012
    Сообщения:
    37
    Симпатии:
    8
    Content Dowloder думаю может помочь в некоторых случаях.
     
  9. TopReseller

    TopReseller

    Регистр.:
    30 июл 2011
    Сообщения:
    283
    Симпатии:
    89
    Она платная, и для разовой работы нет смысла ее покупать.
    Хотя программа суперская :)
     
  10. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    нулл также лежит в паблике и прекрасно работает. Но только как то тс пропал из темы ....
     
Статус темы:
Закрыта.