Ищу Посчитать количество уникальных доменов

Тема в разделе "Софт", создана пользователем Lazy_bones, 3 сен 2013.

  1. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    Нужна программа в которую можно загрузить большой список урлов(500тыс и более или хотя бы от 100 тыс). Которая распарсит ссылки и выдаст информацию такого плана.
    К примеру:
    site.ru столько то ссылок
    site1.ru столько то ссылок
    site2.ru столько то ссылок
    т.е. нужно посчитать сколько уникальных доменов используется и количество ссылок с каждого, чтобы узнать найболее популярные с которых стоят ссылки.

    Сортировка по алфавиту в csv не подходит так как с таким объемом умаюсь делать группы. Тем более что файлов больше 100 ...