чем прочекать базу на pr?

Тема в разделе "Вопросы новичков", создана пользователем TIIIMOXAN, 21 апр 2010.

Статус темы:
Закрыта.
  1. TIIIMOXAN

    TIIIMOXAN

    Регистр.:
    1 сен 2009
    Сообщения:
    403
    Симпатии:
    65
    Подскажите пожалуйста,есть база больше,чем на 1kk форумов,все проги,кот. я пробовал их чекать на пр,просто не выдерживают,начинают глючить,а если и работают то проходят 1000 ссылок.а потом выдают n/a.Я уже и по файлам разбивал и нифига подобного,не хочет чекать нормально.Сразу скажу проги href у меня нет.Задержку ставил,но это не выход,т.к. такую базу "10 лет" проверять можно...)))


    Ессли есть какая-либо альтернатива,подскажите пожалуйста!
     
    andrei_k нравится это.
  2. Garik666

    Garik666

    Регистр.:
    23 сен 2008
    Сообщения:
    285
    Симпатии:
    41
    10 лет и будешь.
    Для такой базы и чтоб шустро, это нужно нормальную скорость нета, пару сот нормальных платных проксей, да и базу эту желательно бы на части разбить т.к. в полне возможно глючит из-за того что проге тяжело в несколько десят мегабайтном текстовом файле перебор урл делать.
     
  3. Delk0

    Delk0

    Регистр.:
    26 мар 2010
    Сообщения:
    284
    Симпатии:
    47
  4. TIIIMOXAN

    TIIIMOXAN

    Регистр.:
    1 сен 2009
    Сообщения:
    403
    Симпатии:
    65
  5. Dodgy

    Dodgy Юзверь

    Регистр.:
    7 сен 2008
    Сообщения:
    229
    Симпатии:
    44

    Закажи скриптик у прогеров.
     
  6. AngryGYF

    AngryGYF Постоялец

    Регистр.:
    20 июл 2009
    Сообщения:
    102
    Симпатии:
    10
    _http://maulnet.ru/tools/ если будет долго проверять, то разбей список по 100 доменов. Проверяет эта штука быстро
     
  7. TIIIMOXAN

    TIIIMOXAN

    Регистр.:
    1 сен 2009
    Сообщения:
    403
    Симпатии:
    65
    AngryGYF, у меня больше миллиона ссылок,понимаешь?
     
  8. andrei_k

    andrei_k

    Регистр.:
    17 янв 2010
    Сообщения:
    251
    Симпатии:
    52
    Как вариант, заказать на фрилансе прогу у кодера, которая прогонит файл и нарежет его на куски по сто записей с созданием новых файлов с этими кусками.
     
  9. xumukys

    xumukys

    Регистр.:
    16 ноя 2008
    Сообщения:
    495
    Симпатии:
    90
    Попробуй hrefer...
     
  10. μimας$$

    μimας$$ Создатель

    Регистр.:
    7 апр 2008
    Сообщения:
    23
    Симпатии:
    0
    Это делается проще на php, буквально за час пишется скрипт

    Главное чтобы структура файла была правильной


    А сколько весит файл базы ?
     
Статус темы:
Закрыта.