Парсим 2Gis ручками или далой барыг

Тема в разделе "Мегафлуд", создана пользователем Any_Key, 10 апр 2012.

  1. Any_Key

    Any_Key aka mad red cat

    Регистр.:
    30 мар 2006
    Сообщения:
    388
    Симпатии:
    346

    Встала задача выдернуть сведения из дубль гиса.
    Пошел бродить по просторам интернета и понял, что это пипец.
    Барыга на барыге и барыгой погоняет.
    Ну нас просто так не возмешь )))
    И так для полу-ручного парсинга нам потребуется
    1) компьютер с хорошим процессором (coreduo так что подтупливает)
    2) 2 гига свободной памяти
    3) 3 гига винта
    4) 2 часа времени
    5) дополнительное ПО

    Итак приступим
    1) открываем гис и карту ставим на минимальный размер (см рис 1)
    2) Выбираем инструмент "радиус" и выбираем всю карту
    3) Нажимаем поиск
    4) Сидим и как павианы нажимаем клавишу "показать еще" К сожалению гис выводит по 300 записей и никакими плагинами его не отучить и пастчить бестолку, так как обновляется часто.

    Рис 1
    [​IMG]


    5) качаем дампер процессов по ссылке http://depositfiles.com/files/xjucz7id6
    6) в коммандной строке выполняем mdmp.exe /n:grym.exe /m

    В итоге получаем кучу файлов

    Нас интересуют файлы размером в 4 килобайта и названием типа
    grym.exe(1276)-other[RW]-37380000-00FD0000.dump
    Открываем его и видем такую картину
    HTML:
    <html>
        <head>
            <style>html {background-color: transparent; overflow:hidden;font-family:Segoe UI;font-size:12px;}body {margin-top:0px; margin-bottom:0px; margin-left:0px; margin-right:0px;}</style>
        </head>
        <body>
            <div style="font: 12px sans-serif Arial; vertical-align:text-top; margin-left:5px; margin-right:5px; margin-top:5px; margin-bottom:5px; text-align:right;" ><a href="grym_fb:feedback_href"  style="color:#A5C6B8;" >Не нашли организацию?</a></div>
    </body>
    </html>  12px sans-serif Arial;
    color: #454333;
    display: block;
    width: 264px;
    margin-left: 8px;
    }
    .bottom{
    display: block;
    float: top;
    background: url(DirOrgMcBottom.png) no-repeat;
    width: 280px;
    height: 5px;
    margin: 0px;
    padding-bottom: 0px;
    }
    .pointer{
    vertical-align: bottom;
    position: relative;
    top: 5px;
    border-bottom: none;
    }
     
    </style>
            <div style="font: 1.1em sans-serif Arial; cursor: pointer;vertical-align:text-top; margin-left:7px; margin-right:7px; padding-top:4px; margin-bottom:5px;" >
                <div style="color:#07613b;" >
                    <div style="width: 278px;" >  <a style="color:#323232; text-decoration: none;border-bottom: 1px dotted #6d8f81; font-weight: bold;"  href="grym_toggle_expand" >Отдел судебных приставов Железнодорожного района по физическим лицам</a></div>
            </div>
        </div>
    </body>
    </html> ސېѐܠв Сибирском федеральном округе на территории Алтайского края</a></div>
            </div>
        </div>
    </body>
    </html> > dy>
    </html>  />
        </div>
    </body>
    </html> /body>
    </html> /body>
    </html> ; margin-bottom:1px;margin-left:0px" >Имеются противопоказания, необходимо проконсультироваться со специалистом</div>
        </div>
    </body>
    </html> body>
    </html> y>
    </html> Qˮ<br/>Походы, сплавы, отдых на турбазах.<br/>Визы в США, Германию.<br/>Группы в Китай.<br/>АВИАБИЛЕТЫ по всем направлениям.<br/>АВИАГРУЗОПЕРЕВОЗКИ любых грузов по России и миру.<br/>ЭКСПРЕСС-ДОСТАВКА корреспонденции и грузов по Барнаулу, России и миру.<br/>Экспорт/импорт.</b></div>
            <div style="margin-left:15px; margin-top:12px;" >
                <div style="margin-top: 3px;" ><span style="padding-top:3px;" ><a style="color:#1f91a2"  href="callto:+7385255-55-77" ><img align="middle"  src="grym:phone" /></a>&nbsp;<a style="color:#1f91a2"  href="callto:+7385255-55-77" >(3852)&nbsp;55−55−77</a><span style="font-size:11px; color:#7c7c7d;" >&nbsp;— автоинформатор</span></span> <br/><span style="padding-top:3px;" ><a style="color:#1f91a2;"  href="grym_wb:link.2gis.ru/01C07799/grym/20120401/barnaul/2007d00015539?http://www.tavio.ru" ><img style="margin-top:1px;"  align="middle"  src="grym:www" /></a>&nbsp;<a style="color:#1f91a2;"  href="grym_wb:link.2gis.ru/01C07799/grym/20120401/barnaul/2007d00015539?http://www.tavio.ru" >www.tavio.ru</a></span> <br/><span style="padding-top:3px;" ><a style="color:#1f91a2;"  href="grym_ml:avia-trevel@mail.ru" >
    Это непосредственно карточка предприятия.
    А что с ней делать дальше опишу немного позже. Но многие сами догадаются :D. Если кто напишет нормальный парсер прошу поделится. У меня пока выдерает название и мыло.
     
    E-body, lift, donvictorio и ещё 1-му нравится это.
  2. Any_Key

    Any_Key aka mad red cat

    Регистр.:
    30 мар 2006
    Сообщения:
    388
    Симпатии:
    346
    Уважаемые обратите внимание я в спешке накосячил. Ввел не тот параметр в строку. Поправил сейчас. И не забываем раскрывать категории
     
    lift нравится это.
  3. bossmotoru

    bossmotoru Создатель

    Регистр.:
    17 янв 2009
    Сообщения:
    10
    Симпатии:
    2
    Думаю, что если Вы хотите избавиться от барыг (а это следует из заголовка), то необходимо раскрыть тему для большого круга пользователей, а не так, как сделали Вы.
     
    Goot и sosed нравится это.
  4. Any_Key

    Any_Key aka mad red cat

    Регистр.:
    30 мар 2006
    Сообщения:
    388
    Симпатии:
    346
    Не нравится не ешь.
    Не можешь повторить? А я тебе чем виноват в этом. Покупай тогда.
     
  5. nothingnessget

    nothingnessget Постоялец

    Регистр.:
    9 апр 2012
    Сообщения:
    51
    Симпатии:
    22
    Any_Key - у тебя покупать?:D
     
  6. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    Хочеш - у него, если он конечно захочет этим заниматься. Не хочеш - тут рядом раздел рекламный, там на первой странице пара тем с продажей баз 2гис есть точно - купи там.
    Хули сшемного я только не пойму? Человек потратил время написал мануал как сделать самому, даже если он и продает тоже самое тем, кто сам сделать это не смог это не повод поржать совершенно - сам ты еще нихера даже близко похожего не сделал.
     
    lantseff, zzallexx и Any_Key нравится это.
  7. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    А сейчас ты что делаеш? Не хамиш? Я еще раз могу тебя спросить, что ты такого веселого наше в этой теме, что тебе поржать захотелось над топикстартером?
     
  8. nothingnessget

    nothingnessget Постоялец

    Регистр.:
    9 апр 2012
    Сообщения:
    51
    Симпатии:
    22
    тема называется "далой барыг" но потом, автор к ним же и отсылает. это разве не смешно?
     
    bossmotoru нравится это.
  9. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    Если я скажу, что смешно в этой теме на мой взгляд это будет нарушением правил форума. По этому более мягко: смешны кривые руки и предъявы из-за них.
     
  10. bossmotoru

    bossmotoru Создатель

    Регистр.:
    17 янв 2009
    Сообщения:
    10
    Симпатии:
    2
    Не знаю что там у ТС, но народ с этими базами извращается как угодно.
    например так
    rghost.ru/37723247