Ищу Программа импорта данных из Google webmasters

Тема в разделе "Софт", создана пользователем o_nix, 4 авг 2011.

  1. o_nix

    o_nix

    Регистр.:
    7 ноя 2007
    Сообщения:
    1.073
    Симпатии:
    1.037
    Народ может кому такое попадалось подскажите

    нужна прога которая импортирует (спарсит) все поисковые запросы по которым приходили на сайт пользователи + url страницы на которую попали по этому запросу

    те
    на выходе мне нужен csv или любой другой формат типа
    Запрос;URL
    "форум nulled";"https://nulled.cc/"

    Знаю что в гугле есть экспорт ключевиков но там экспорт идёт без url

    В общем то поискал в выдаче - ничего такого из готовых прог не нашёл.
    Прежде чем изобретать свою собственную хотелось бы быть увереным что не изобретаю велосипед :D
     
  2. Dali

    Dali

    Регистр.:
    7 апр 2006
    Сообщения:
    155
    Симпатии:
    153
    Я бы использовал простой Web Info Extractor, просто и быстро, я таким образом стату из лиру вытягивал....

    ЫЫЫ все норм работает разве что оч. медленно потому как в один поток если бы в контентдонлоадере было нормальное сабтаск то в 10 потоков это было бы гараздо быстрее... (хотя как бы оно отрабатывало аякс....) вот файлик проектика только надо заменить site.ru на свой и выставить количество страниц для парсинга.
     

    Вложения:

    • wm_exp.rar
      Размер файла:
      1,8 КБ
      Просмотров:
      6
    o_nix нравится это.
  3. o_nix

    o_nix

    Регистр.:
    7 ноя 2007
    Сообщения:
    1.073
    Симпатии:
    1.037
    да я уже сделал (в тотже день) :D

    Content Downloader тут не пройдёт, там куча js - ещё и клики нужны чтоб гугл показал ссылочки

    WIE - первое что пробовал
    экспортнул запросы и сгенерил линки на каждый запрос
    потом запустил парсинг по списку url
    мой лом wie 1.8.1 - страдает от утечки памяти (врятли это изза лома, скорее сама прога такая)
    А потому пришлось раз 30 перезапускать пока всё не пропарсил. Хавает 2 гига оперативки и "вешается".
    а у меня там больше 20к запросов, часов 5 парсил ...

    Я посмотрел твой вариант - у меня без симуляции клика не парсило.
    Видимо гугля мены уже боится :D

    Вот моя поделка
    парсит:
    запрос
    первый url
    количество переходов
     

    Вложения:

    • Parser_GWM.rar
      Размер файла:
      2,4 КБ
      Просмотров:
      13
  4. Dali

    Dali

    Регистр.:
    7 апр 2006
    Сообщения:
    155
    Симпатии:
    153
    Какой IE на машине у меня с переходом на 9-ку WIE категорично отказался работать нормально (все вродебы настроил а парсить не хочет...)... пришлось откатить на 8-ку...
     
  5. o_nix

    o_nix

    Регистр.:
    7 ноя 2007
    Сообщения:
    1.073
    Симпатии:
    1.037
    ie 8
    win xp sp3 у меня, уже замучаный - восстанавливать образ уже месяца 3 как пора но лень (но дело скорее всего не в замучености OS).

    не парсит изза того что при переходе div с таблицей url не отображается (пусто вместо него), но сразу же появляется если сделать клик по диву или пошевелять мышью

    Я подозреваю что тут либо сам wie виноват либо отсутствие в IE флеша или что то типа того, я им вообще не пользусь.

    если вдруг у тебя лицензия wie
    интерисует можно ли юзать одну лицуху на многих компах?
    когда ковырял 1.8.1 привязки к железу не заметил но боязно покупать в складчину без уверености - стоит не дёшево

    оно и так то юзать можно ничем от версии 1.8.4 по функционалу не отличается
    но вот этот напряг с пожиранием памяти меня не устраивает