Миллион блогов с GOOGLE за 1 минуту

Тема в разделе "Зарубежные поисковики", создана пользователем Soprano, 17 апр 2010.

  1. Soprano

    Soprano Комбинатор

    Регистр.:
    11 апр 2009
    Сообщения:
    628
    Симпатии:
    956
    В общем палю тему, только что появившуюся в буржунете. Есть такой сервис:
    для поиска по блогам. При вводе запроса :
    появляется страница с ошибкой. НО!!!
    Если вы откроете исходный код, то увидите там сотни и тысячи блогов, которые прямо сейчас будет пинговать/индексировать Гугль.
    При обновлении страницы появляются НОВЫЕ!!! блоги под пинг. Самое вкусное - скрипт, который выдирает из этой страницы УРЛы:
    У меня за 1 минуту собрался файл блогов размеров в 20Мб. Если запускать кроном - то за час несколько миллионов наберется.
    1.Просьба к тем, к кто знает PHP - добавьте функцию сохранения урлов в .txt файл.
    2.И если кому-то придет идея как такое же сделать с форумами - поделитесь. И тогда все парсеры - ф топку!
     
    grixann, monia, baltazorg и 2 другим нравится это.
  2. jcrush

    jcrush

    Регистр.:
    10 ноя 2006
    Сообщения:
    692
    Симпатии:
    55
    у меня не работает.
     
  3. Dozep

    Dozep

    Регистр.:
    5 авг 2008
    Сообщения:
    170
    Симпатии:
    37
    в опере да, ошибка разбора ХМЛ но в исходном коде все есть, в мозиле сразу открывается хмл файл с урлами.
    а откуда такая информация интересная?:)
     
  4. Soprano

    Soprano Комбинатор

    Регистр.:
    11 апр 2009
    Сообщения:
    628
    Симпатии:
    956
    оттуда

    С форумов BHW.
     
  5. baltazorg

    baltazorg

    Регистр.:
    7 авг 2008
    Сообщения:
    203
    Симпатии:
    71

    В пхп не силен, но так вроде у меня работает сохранение в файл:
    Может кто подкинет идею, где собранную базу блогов можно применить?
     
    soprano1 нравится это.
  6. Soprano

    Soprano Комбинатор

    Регистр.:
    11 апр 2009
    Сообщения:
    628
    Симпатии:
    956
    здесь

    Может, для СПАМа?!:D

    Добавлено через 9 минут
    Кому в лом делать самому - вот скрипт:
     
  7. baltazorg

    baltazorg

    Регистр.:
    7 авг 2008
    Сообщения:
    203
    Симпатии:
    71
    Сорри, немножко некорректно поставил вопрос, я в том смысле что блоги-то особо не проспамишь, блого-комменты особо уже не рулят, вот если б форумы таким образом собирались. Хотя только что глянул, что напарсилось, там и форумов прилично попадается. В любом случае спасибо за тему.
     
  8. Soprano

    Soprano Комбинатор

    Регистр.:
    11 апр 2009
    Сообщения:
    628
    Симпатии:
    956
    крон

    При запуске по крону .txt будет переписываться или дозаписываться? Надо чтобы дозаписывало.:yahoo:
     
  9. baltazorg

    baltazorg

    Регистр.:
    7 авг 2008
    Сообщения:
    203
    Симпатии:
    71
    Будет дозаписываться конечно же.
     
  10. Soprano

    Soprano Комбинатор

    Регистр.:
    11 апр 2009
    Сообщения:
    628
    Симпатии:
    956
    Уже с кейвордом


    Уже можно искать по кейворду, ставим в слово $keyword = "blog" или что хочешь - и вперед.
    1. Сделайте, пожалуйста, и здесь сохранение в файл, кто может.
    2. У кого есть предложения по усовершенствованию скрипта - выкладывайте.