Как найти карту сайта

Тема в разделе "Вопросы новичков", создана пользователем sinij, 21 ноя 2011.

  1. sinij

    sinij Создатель

    Регистр.:
    26 дек 2007
    Сообщения:
    28
    Симпатии:
    8
    Добрый день.

    Подскажите как можно найти карту чужого сайта если:
    нет файла robots.txt
    нет файла sitemap.xml
     
  2. terabass

    terabass

    Регистр.:
    9 мар 2010
    Сообщения:
    153
    Симпатии:
    11
    Так значит ее нету...
    Сгенерировать можно тут http://www.xml-sitemaps.com/
     
  3. sinij

    sinij Создатель

    Регистр.:
    26 дек 2007
    Сообщения:
    28
    Симпатии:
    8
    Этот сервис позволяет создать карту сайта только на 500 страниц.

    Может кто знает сервис который умеет находить карты сайтов?
     
  4. -=ber$erk=-

    -=ber$erk=-

    Регистр.:
    17 мар 2008
    Сообщения:
    237
    Симпатии:
    105
    есть софт различный типа sitemapgenerator
    вылеченный от жадности в разделе софта
    https://www.nulled.cc/showthread.php?t=67186&highlight=sitemap
     
    sinij нравится это.
  5. sinij

    sinij Создатель

    Регистр.:
    26 дек 2007
    Сообщения:
    28
    Симпатии:
    8
    делаю парсер сайта и решил что будет проще отпарсить sitemap чем ходить по ссылкам на сайте.
     
  6. vladis1333

    vladis1333

    Регистр.:
    18 июл 2010
    Сообщения:
    587
    Симпатии:
    227
    По моему content dowloader спарсит все без карты достаточно указать в ссылках главную страницу (если структура не сложная). и карты строить не надо
     
  7. IamDevil

    IamDevil Капитан

    Регистр.:
    15 ноя 2009
    Сообщения:
    243
    Симпатии:
    56
    Или для скачивания всего сайта(вместе с картой) можно использовать Offline Explorer Enterprise
     
  8. kouri

    kouri Постоялец

    Регистр.:
    13 июл 2007
    Сообщения:
    101
    Симпатии:
    23
    Автор имеет в виду, что он не "хочет спарсить сайт", а именно "делает свой парсер сайта".

    А вот если бы задача была именно спарсить сайт - тогда да, CD - наилучший из известных мне парсеров...
     
  9. yinfo

    yinfo Писатель

    Регистр.:
    18 янв 2013
    Сообщения:
    1
    Симпатии:
    0
    Меня немного удивляют сайты, которые не делают свой sitemap.xml - ведь его наличие, как я понимаю, улучшает индексацию страниц поисковыми системами Яндек и Google.
     
  10. Yar0slav

    Yar0slav Создатель

    Регистр.:
    13 май 2014
    Сообщения:
    29
    Симпатии:
    6
    Безусловно, в вебмастерах яндекса и гугла есть специальные пункты для загрузки sitemap.xml, это помогает роботам проходиться по сайту и эффективнее и быстрее их индексировать...