Как напарсить больше кеев ?

Тема в разделе "Вопросы новичков", создана пользователем ZavodiJIo, 31 янв 2009.

Статус темы:
Закрыта.
  1. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    Парсю кеи магаданом с вордстата яши. Всё вродебы хорошо, но парсит он довольно мало кеев. с 17к кеев после чистки остаёться 2-2.5к кеев. Собстна вопрос, можно ли спарсить больше кеев (может каким сторонним софтом). Ну или прошу выложить базу эдулт кеев русских (побольше). Заранее благодарю. :thenks:
     
  2. swed

    swed

    Moderator
    Регистр.:
    17 апр 2008
    Сообщения:
    509
    Симпатии:
    494
    Дак вбивай больше запросов на парсинг
    И еще, в нем же можно в отдельный файлик сохранять то, что ищут вместе с ним, из этого тоже потом можно навыбирать высокочастотников, по которым потом попарсить...
     
  3. Piranha

    Piranha

    Регистр.:
    1 дек 2008
    Сообщения:
    534
    Симпатии:
    69
    swed прав

    а сторонним методом, лезь в выдачу ищи чужие доры и дергай из них через сайт мап ключевики...можно довольнотаки большую базу собрать с учетом того что некоторые выкладывают доры с пагами более 5к...
     
  4. 30k

    30k Постоялец

    Регистр.:
    10 сен 2008
    Сообщения:
    62
    Симпатии:
    91
    парсишь магаданом по эротике, порно, сексу и т.п., а потом что все что напарсилось чистишь и добавляешь в очередь для парсинга, еще стоит посмотреть что спарсилось в "Что еще искали люди, искавшие это слово:"

    вот ссылка на видео как парсить Магаданом:
    http://ru.youtube.com/watch?v=QGgF-sg3mYc&feature
     
    Abradox, Xack-Root и ZavodiJIo нравится это.
  5. 30k

    30k Постоялец

    Регистр.:
    10 сен 2008
    Сообщения:
    62
    Симпатии:
    91
    я загружал и 10к и 30к кеев в парсилку, а таймаут ставил 7-8 секунд нормально парсилось без банов, а вот если меньше поставить то быстро бан получишь, так что 8 сек нормальный таймаут.
     
  6. ko-yg

    ko-yg

    Регистр.:
    12 ноя 2008
    Сообщения:
    519
    Симпатии:
    161
    ещё один неплохой способ, тоже для магадана:
    1) берем бесплатную базу
    http://newox.ru/free_base.php
    2) делаем выборку по порнушным кеям, фильтруем, чистим эту выборку от мусора(сами знаете чем ;) )
    3) загоняем в магадан... и магаданим :)
     
  7. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    дык если из этой базы сделать выборку, почистить, все дела, то и в магадан не надо будет засовывать ? :)
     
  8. SEOKinG

    SEOKinG

    Регистр.:
    2 дек 2008
    Сообщения:
    346
    Симпатии:
    69
    очисти Секатором
     
  9. ZavodiJIo

    ZavodiJIo Постоялец

    Регистр.:
    26 авг 2008
    Сообщения:
    123
    Симпатии:
    2
    э? простите но при чём тут секатор ? он же дупликаты удаляет, так его функцию прекрасно выполняет KWK и excel. Дупликаты это вообще само собой разумееться. Скачал большую базу с newox сделал выборку, но ничего хорошего не увидел. Слишком много слов типа "канал" и прочего мусора. Парсить самому выходит намного эфективнее.
     
  10. ko-yg

    ko-yg

    Регистр.:
    12 ноя 2008
    Сообщения:
    519
    Симпатии:
    161
    используй смекалку :) по выборке анал - реально будет просто куча мусора
    загоняешь в эхель, ставишь фильтр, в фильтре вбиваешь =кей
    и рукамми выдираешь всё что нужно

    ЗЫ реально, если с этой базой поработать как следует, можно и не магаданить, там около 50к нч по пореву есть - сам проверял ;)
     
Статус темы:
Закрыта.