Чем спарсить карту дора.

Тема в разделе "Вопросы новичков", создана пользователем k2651, 31 янв 2009.

Статус темы:
Закрыта.
  1. k2651

    k2651

    Регистр.:
    21 дек 2008
    Сообщения:
    169
    Симпатии:
    103
    Есть сеть доровеев, хочется поднять их в выдаче.
    Надо бы проспамить, а ссылок нет.

    Хотелось бы решение для:

    задаем список ссылок на карты доровее, а программа/скрипт нам текстовый файл ссылочками.
     
  2. _king

    _king Постоялец

    Регистр.:
    25 июн 2008
    Сообщения:
    120
    Симпатии:
    3
    Код:
    $dora=file('ssilki.txt');
     for ($dd=0;$dd<count($dora);$dd++)
      {
    
        $url_map=trim($dora[$dd]);
    
       $page=file_get_contents($url_map);
       preg_match_all("/(http:\/\/[^\"]*)/si", $page , $mas);
       $fg=fopen ('all_map.txt','a+');
            for ($i=0;$i<count($mas[1]);$i++)
              {
    
                fputs($fg, $mas[1][$i]."\n");
    
              }
        fclose($fg);
    }
    
    что то типа этого
     
    k2651 нравится это.
  3. Piranha

    Piranha

    Регистр.:
    1 дек 2008
    Сообщения:
    534
    Симпатии:
    69
    Если нужно дернуть урлы из файла map.html используй плагин для аналога блокнота AkelPad ...
     
  4. 30k

    30k Постоялец

    Регистр.:
    10 сен 2008
    Сообщения:
    62
    Симпатии:
    91
    если не нашел ничего, то можно руками подергать ссылки

    1. заходишь на карту дора
    2. в строку адреса этот JavaScript:
    javascript:all=document.links.length;mass='<b>Всего ссылок на странице:\u0020'+all+'</b><br><br>\n';for(i=0;i<all;i++){mass+=document.links+'<br>\n';}newwind=window.open('about:blank','result','width=600,top=100,left=100,scrollbars=1');newwind.document.write(mass);
    он показывает все ссылки со страницы.
     
  5. Diverse

    Diverse

    Регистр.:
    4 дек 2008
    Сообщения:
    232
    Симпатии:
    36
    Сервис делает сайтмеп в разных форматах


    Перейти по ссылке


    а этим простыс скриптом можно из уже готового сайтмепа вычистить все лишнее


    <?
    set_time_limit(0);

    $url = "http://www.xml-sitemaps.com/download/disppsitipndisp.800web.cnn/sitemap.xml"; //откуда драть?

    $content = file_get_contents($url);

    $sh = fopen("url.txt", "w");

    preg_match_all("/<loc>[\s]*([\S]*)[\s]*<\/loc>/isU", $content, $loli);

    foreach($loli[1] as $kawaii => $tmp)
    {
    //echo $tmp."<br>";
    fwrite($sh, $tmp."\n");
    }

    fclose($sh);

    echo "ВСЁ!! Файл создан!";
    ?>
     
  6. SvolochVS

    SvolochVS Создатель

    Регистр.:
    11 янв 2008
    Сообщения:
    14
    Симпатии:
    0
  7. spliter

    spliter Постоялец

    Регистр.:
    3 дек 2007
    Сообщения:
    110
    Симпатии:
    12
    Из карты сайта получить линки в текстовый файл можно при помощи софтинки GrabLinks v1.1.

    Сам GrabLinks v1.1 можно взять тут Перейти по ссылке
     
Статус темы:
Закрыта.