Парсер Директа с обходом капчи

Тема в разделе "SEO Скрипты", создана пользователем dig555, 5 фев 2008.

Статус темы:
Закрыта.
  1. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    362
    Симпатии:
    148
    Мне очень давно хотелось заиметь парсер, который обходит капчу в Яндекс.Директе, пока не дорос до творений Пастухова. И я его заимел. Этот парсер был написан под заказ, человеком с этого форума - Перейти по ссылке'ом. Пользуясь случаем, спешу прорекламировать его как отличного кодера и оперативного исполнителя.

    А поскольку сегодня у меня хороший день:yahoo: - решил выложить его для общественности.

    Итак, вот что он умеет:
    -умеет брать сразу несколько кейвордов для парсинга;
    -умеет обходить капчу рандомным sleep() или через прокси;
    -умеет очищать напарсенное по списку стоп-слов. Указываем в текстовом файле список нежелательных слов (порно, скачать и т.д.), и все кеи содержащие эти слова пускаются под нож.
    -встроенная кеемешалка;
    -разбивка напарсенного на указанное количество страниц;
    -сохранение в указанной папке в файлах, название которых представляет собой транслитерацию кея по которому происходил парсинг + номер части на которые напарсенное было разбито. Т.е. название файлов с кеями идеально подходит в качестве названия поддоменов для доров.

    Тестировался автором на локалхосте (win xp, apache, php5) и на сервере freebsd, nginx,php5 Тестировался мной на лохалхосте на Vertrigo.

    Обязательно прочитайте ридмишку из архива. По технических вопросам к Перейти по ссылке. Если, конечно, он пожелает на них ответить.

    Надеюсь, что кому-то будет полезным (хайды на усмотрение модера:(
    http://www.abctop.ru/download/43483

    Зеркало:
    http://beststars.ru/xparser_for_nulled.zip

    И для уважаемых:) :
    [RESPECT="10"]http://beststars.ru/xparser_for_nulled.zip[/RESPECT]
    Пароль стандартный - Перейти по ссылке
    Прошу поддержать мой первый релиз дружным нажатием кнопки "Спасибо";)
     
    Anton, Алкаш, Allex007 и 7 другим нравится это.
  2. need help

    need help

    Регистр.:
    2 сен 2007
    Сообщения:
    149
    Симпатии:
    11
    Странно, воде и работает, но как правило парсит пару сотен кеев, а потом строка
    the page
    и так в каждом, запросы точно большого количества - секс например, а парсит только чуть-чуть. Это мне с хостом не повезло? Парсинг через прокси 500 шт все живые, не забаненые яндексом.
     
  3. Staratel

    Staratel

    Регистр.:
    27 янв 2007
    Сообщения:
    261
    Симпатии:
    65
    У меня нормально парсит. Добавил кей, поставил ограничение 10000, так все 10000 и вытащил. Правда парсил не через прокси, а ставил sleep. Проблема в другом, не отображается индикатор хода процесса. После запуска перекидывает опять на первую страницу, хотя на Денвере все нормально. Тоже проблема наверно в хосте..
     
  4. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    Перезалейте скрипт плиз, ссылки мертвы

    abctop - Ошибка 500 при скачивании
    beststars - отдает только половину файла :)
     
  5. KARAT

    KARAT

    Регистр.:
    15 мар 2007
    Сообщения:
    508
    Симпатии:
    873
    D@nil нравится это.
  6. skeeve

    skeeve Прохожие

    выложите плиз хоть с ограничением на 20 сообщений.
     
  7. garden

    garden кидала и мошенник

    Заблокирован
    Регистр.:
    13 дек 2006
    Сообщения:
    183
    Симпатии:
    32
    Я конечно тебя поблогодорил но я за всю свою жизнь капчу в Яндекс директе и не видел.
     
  8. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    362
    Симпатии:
    148
    Видишь суслика? Не видишь? А он есть :) Капча появляется только тогда, когда директ начинает считать тебя ботом. Т.е. при большом количестве запросов за единицу времени.
    На вот простой парсер. После того, как отработаешь 5-10 запросов - он работать откажется. Зайди тогда в директ и увидишь искомую капчу.:)
     

    Вложения:

    • wordstat.rar
      Размер файла:
      938 байт
      Просмотров:
      18
  9. dig555

    dig555

    Регистр.:
    22 июн 2007
    Сообщения:
    362
    Симпатии:
    148
    Хайды на усмотрение модера.
     
  10. Brux

    Brux

    Регистр.:
    25 сен 2007
    Сообщения:
    155
    Симпатии:
    9
    или если хочешь увидеть капчу существует еще такой вариант: зайди в ЯндексДирект и набери любое слово(например СТРОЙКА или КИРПИЧ) и переходи быстро на следующие страницы (2-я 3-я и т.д.) и появится капча.

    dig555 - а этот парсер что работает только с кеями из одного слова и обязательно надо задать сколько страниц он парсил? нельзя парсить до конца?
     
Статус темы:
Закрыта.