Основы парсинга для новичков.

Тема в разделе "Статьи и Co", создана пользователем mc_janik, 6 май 2007.

Статус темы:
Закрыта.
  1. mc_janik

    mc_janik Писатель

    Регистр.:
    30 янв 2007
    Сообщения:
    7
    Симпатии:
    29
    Среди своих рефов я очень часто встречаю схожие затруднения, у большинства из них есть спамилки, которые они либо покупают, либо находят где-то в интернете, но спамить им нечем, у них нет более ли менее хорошей конкурентноспособной базы. В этой статье я постараюсь изложить методы парсинга, т.е. постараюсь научить новичков собирать как можно больше.

    Парсинг - это процесс сбора ресурсов (сайтов). Сбора не именно сайтов, а их адресов. Мы эти ресурсы собираем для последующего в них спама. Парсить можно все что угодно - гостевые книги, форумы, блоги, вики, главное чтобы в них можно было оставить свое сообщение со ссылкой на свой дор.
    Запрос - это то, что мы вводим в поисковике.
    Выдача - это те сайты, которые выдает поисковик на наш запрос.

    Далее хочу заметить, что наиболее важное в парсинге это умение правильно пользоваться поисковиком. Поэтому нужно знать синтаксис запросов. Я остановлюсь на гугле т.к. у него самая большая база данных, относительно других поисковиков.
    Синтаксис запросов гугла.
    1)inurl:"xxx" - поисковик выдаст все сайты у адресе которых найдет ххх, вместо ххх мы можем вставить любое другое слово, например guestbook,forum и т.д.
    2)intitle:"xxx" - поисковик выдаст все сайты в заголовке которых найдет ххх. Опять же вместо ххх может быть любое слово.
    3)site:.xxx.com - поисковик выдаст все страницы с домена xxx.com, вместо ххх.соm может быть любой домен любого уровня. Это может быть jopa.mail.ru или например просто .ru, если мы просто оставим .ru, то поисковик выдаст нам все сайты с доменной зоны .ru. Вместо .ru могут быть .com, .org, .net и т.д.
    4)intext:"xxx" - поисковик выдаст нам все сайты в тексте у которых было найдено слово ххх. Вместо ххх - любое слово.
    5)"ххх" - поисковик выдаст нам сайты в которых было найдено слово ххх (найденно было везде в урле или в тексте или в заголовке, неважно).
    6) -"ххх" - поисковик выдаст нам все сайты исключая те, в которых было найдено слово ххх. После минуса также могут стоять inurl:"xxx" intitle:"xxx" site:.xxx.com intext:"xxx" и др.

    ***Можно писать то же самое и без кавычек, но я настоятельно рекомендую всегда их ставить, т.к. кавычки показывает гуглу строгость запроса, и поэтому он не будет выдавать всякую дрянь, которая по его мнению тоже подходит под запрос.


    Очень важно не только знать синтаксис запросов, но и уметь правильно комбинировать их. Этим мы сейчас и займемся. На самом деле все очень и очень просто.

    Введение.
    В мире существует огромное число гостевых книг, но все они грубо говоря делятся на два основных вида однотипные и неоднотипные. Однотипные гостевые - это гостевые которые имеют одинаковые окончания и одинаковые обязательные поля для заполнения.
    Вот примеры некоторых однотипных гостевых.
    http://www.saveus.org/guestbook/sign.asp?PagePosition=1
    http://www.caltrap.org/guestbook/sign.asp?PagePosition=1
    http://mail.bebat.be/guestbookf/sign.asp?PagePosition=1
    или
    http://www.becquet.com/addguest.html
    http://www.vetgen.com/guest/addguest.html
    http://www.newcreations.net/webmaster/guestbook/addguest.html
    Чем эти гостевые удобны :
    1) Легко парсятся
    2) Легче анализируются (если не спамиться 10 гостевых этого типа, значит все остальные скорее всего тоже не спамятся)

    Так вот новичкам я бы советовал начинать со сбора именно однотипных гостевых.
    Типов гостевых существует огромное приогромное множество, соответственно различных однотипных гостевых тоже.

    Займемся парсингом. Для начала мы должны определиться какой тип гостевой мы хотим собирать и чем (всмысле руками много не соберешь Smile ). Когда я начинал, я пользовался программой AllSubmiter. В нем есть встроенный парсер. Программа как и все другие платная, но без триал срока. А если не крякать эту программу то она выполняет только функции парсера, хех, а нам именно это и нужно т.к. если мы скачам его и не активируем, то будет работать только парсер, парсер собирает все урлы со страницы исключая внутренние ссылки гугла, парсер отсеивает на дубликаты доменов и дубликаты ссылок.
    AllSubmiter берем здесь
    Для нового типа гостевых мы создаем новую базу данных.
    [Image]

    Задаем ей имя.

    Теперь приступим, я покажу на конкретном примере как собирать базу с помощью аллсубмитера. Давайте соберем, ну скажем тип гостевой - gbook.php?a=sign. Эти гостевые имеют одинаковые окончания При вводе в гугле inurl:"gbook.php?a=sign" в гугле их ~ 10,5К. Но гугл не выдает больше 1000 результатов с запроса, что же делать, как собрать больше 1К? Для этого необходимо много раз сузить запрос, обязательно чтобы выдача по запросу не превышала тысячу сайтов, таким образом мы можем собрать все результаты. Аналогией может быть то, что с девочки не снимешь всю одежду сразу одним махом, сначала одно, потом другое, потом лифчик и т.д. В результате она все равно станет голой, и трахаться будет тот, который снял всю одежду, а не тот, который попробовав снять все сразу одним махом, снял только кепку и подумал что ничего другого с нее не снимешь. Это я к тому что не заканчивается парсинг сбором гостевых по запросу inurl:"gbook.php?a=sign", но с него начинается. Желательно сделать запрос даже таким
    inurl:"gbook.php?a=sign" -"error" -"warning" ,таким образом мы убираем часть плохих нерабочих сайтов.
    После того как мы создали новую базу данных а allsubmitere, вводим в браузере программы google.com, и вводим там запрос. (Необходимо чтобы в гугле было поставленно - "выдавать по 100 урлов на странице", это ускорит сбор парсером аллсубмитера), вот что мы видим
    [Image]


    Далее жмем на Базы Данных -> Импортировать из IE
    [Image]



    Добавить
    [Image]



    Добавилось 99 ссылок
    [Image]


    Потом жмем ОК, потом в браузере программы "Назад" и то же самое проделываем со 2-й страницой выдачи, потом с третьей и т.д.

    Проделав это составим другой запрос например >>
    inurl:"gbook.php?a=sign" site:.com, т.е. соберем все гесты с доменной зоны .com, опять проделаем ту же процедуру сбора (см. картинки)
    потом другой запрос
    inurl:"gbook.php?a=sign" site:.net
    inurl:"gbook.php?a=sign" site:.biz
    inurl:"gbook.php?a=sign" site:.org
    Вообще можно пребрать все типы доменов.
    site:.com
    site:.net
    site:.biz
    site:.org
    site:.in
    site:.name
    site:.ru
    site:.fr
    site:.it
    site:.edu
    site:.gov
    site:.mil
    site:.info
    site:.au
    site:.at
    site:.by
    site:.be
    site:.bg
    site:.ca
    site:.cn
    site:.cz
    site:.dk
    site:.eg
    site:.de
    site:.gr
    site:.hu
    site:.ie
    site:.il
    site:.jp
    site:.us
    site:.uk
    site:.ua
    site:.ch
    site:.se
    site:.es
    site:.pl
    site:.nl
    site:.ro
    site:.to
    site:.mx

    Алсубмитер будет добавлять базу только уникальные домены, поэтому не стоит бояться делать любые запросы, дубликатов не будет J

    Затем можно сделать такие запросы
    inurl:"guestbook/gbook.php?a=sign"
    inurl:"gbook/gbook.php?a=sign"
    inurl:"gb/gbook.php?a=sign"
    inurl:"guest/gbook.php?a=sign"
    А потом сделать такую фишку
    inurl:"gbook.php?a=sign" - inurl:"guestbook/gbook.php?a=sign" -inurl:"gbook/gbook.php?a=sign" -inurl:"gb/gbook.php?a=sign" -inurl:"guest/gbook.php?a=sign"
    т.е. отсеить то что уже напарсилось

    Можно комбинировать самые и самые разные запросы вместе, можно используя “-”
    отсеивать то, что вы уже напарсили, главное сделать как можно больше запросов.

    Где искать новые типы гестов? Обычно я использовал два метода :
    1) В интернете часто распостраняются готовые гостевые книги, а раз они распостраняются значит они массовые, т.е. для всех, то есть многие их себе устанавливают на разные сайты и т.д. Просто качаешь эти гесты заливаешь на фришник и смотришь на что они оканчиваются, а потом это окончание смотришь в гугле, если большая выдача значит имеет место ее собирать, небольшая - значит эти книги не пользуются популярностью и собирать их нет особого смысла.
    2)Можно искать новые типы гестов в бэках у конкурентов, все может и говорят типо некрасиво и т.д., но очень и очень многие так делают, хотя имхо лучше комбинировать первый и второй способы.

    Из нормальных автоматических парсеров очень рекомендую парсер Манго (253880089 – его ася), он недорогой, но очень быстро и качественно собирает, фильтрует на дубликаты и удаляет пхп сессии + распределяет по ПР.

    Впринципе все, все вопросы и пожелания пишите тут, постараюсь ответить всем.

    © vadiuha. Все права защишены
     
    asokolov, vergeles, MaloyBasaev и 22 другим нравится это.
  2. ilja

    ilja Писатель

    Регистр.:
    19 фев 2007
    Сообщения:
    4
    Симпатии:
    0
    занятная инфа, спасибо
     
  3. -Зверик-

    -Зверик- Прохожие

  4. Panzersoldat

    Panzersoldat Писатель

    Регистр.:
    28 мар 2007
    Сообщения:
    7
    Симпатии:
    27
    А чего картинок нет? С ними-то сподручнее...
    А кто ещё какие парсеры юзает? Что посоветуете? Аллсаб чем хуже-лучше? Если есть ветка конкретно по парсерам ткните плз в ссылку или на других форумах.
     
  5. blastery

    blastery

    Регистр.:
    6 июн 2007
    Сообщения:
    205
    Симпатии:
    27
    Юзайте ауру правда под нее нужен дедеик или вдс хотябы
    можно собрать весь интернет:D
    топик по ауре есть отдельный
     
  6. zagrenat

    zagrenat

    Регистр.:
    26 дек 2006
    Сообщения:
    217
    Симпатии:
    58
    а по конкретнее по ауре можно инфу ?
    хотябы полное название проги ))
     
  7. interworker

    interworker Создатель

    Регистр.:
    5 май 2007
    Сообщения:
    16
    Симпатии:
    6
  8. hunnyr

    hunnyr Постоялец

    Регистр.:
    25 мар 2007
    Сообщения:
    81
    Симпатии:
    1
    да, статья в свое время дала понять общий смысл парсинга.... и навеяла пару тройку идей по его развитию
    не знаю как аура, мне хрефер больше нравится...

    А то что статья спизжна, то х.. с ним, некотрые до сих пор о ней не знают... правда тс надо было б линку то на оригинал сделать...
     
  9. LIROMO

    LIROMO Создатель

    Регистр.:
    31 авг 2007
    Сообщения:
    26
    Симпатии:
    1
    Спасибо, было интересно почитать. Как спамят мою форму обратной связи....:D
     
  10. tempik

    tempik Создатель

    Регистр.:
    29 май 2007
    Сообщения:
    12
    Симпатии:
    2
    да уже давно такие идеи протекают :)
     
Статус темы:
Закрыта.