Ускоряем индексацию многопоточной php пинговалкой.

Тема в разделе "Мегафлуд", создана пользователем akigleo, 21 окт 2013.

  1. akigleo

    akigleo

    Регистр.:
    7 фев 2010
    Сообщения:
    293
    Симпатии:
    40
    В общем есть скрипт в который вбил список URL на карты сайтов, например, и он трудолюбиво пропингует страницы этих сайтов в поисковиках. Ускоряет индексацию.
    Функционал можно оценить из описания вкладок.
    1. Текущие задания. На данной вкладке прописываются ссылки на RSS каналы сайтов, XML карты сайтов, HTML карты сайтов или ссылки на карты текстового формата URL пробел Title. Все вписанные источники будут парситься при запуске крон файла cron-parser.php и все новые, ранее не пропингованные страницы добавяться в очередь на пинг.

    2. Добавить вручную (*без проверки на дубли в базе). Данная форма добавляет вручную список URL адресов для последующего пинга. Если есть возможность, то в формате URL|||Title, что бы не парсить Title через крон.

    3. Выпарсить URL адреса (* с проверкой на дубли в базе.). Выводит список URL адресов (и Title если позволяет формат) из указанного источника (которые такие же как в 1 пункте). Далее полученный список можно ввести в форму «Добавить вручную».

    4. Настройки. Различные настройки скрипта, такие как список пинг сервисов, проксей, кол-во потоков и их таймаут, и т.п.

    Настройки скрипта.
    • Список адресов для пинга, - без комментариев
    • Список пинг сервисов, - без комментариев
    • HTTP прокси, если требует авторизации, каждая новая прокси с новой строки. Выборка скриптом прокси для каждого сайта (не потока) происходит рандомно (случайно).
    • Потоки, - количество потоков
    • Таймаут, - таймаут для 1 потока.
    • Парсить Title, - при указании парсить Title, скрипт пройдет по всем сайтам и соберет значения между тегами title (<title></title>), если значение не будет получено, в качестве него будет указан URL сайта. Если же флажок не установлен, то в качестве Title используется URL адрес который будет пинговаться. Сбор Title происходит так же многопоточно и без использования проксей (для укорения работы).
    Результат работы скрипта можно смотреть в реальном времени.

    Пример работы и более детальное описание можно посмотреть на Перейти по ссылке разраба.
    Автор просит джентльменские 300р. Скрипт развивается, мое впечатление благоприятное, хотя все, как известно, на любителя.
     
    Последнее редактирование: 21 окт 2013
  2. ReBeL

    ReBeL Злобный старикашка

    Регистр.:
    3 май 2006
    Сообщения:
    1.561
    Симпатии:
    849
    Давно уже есть и php скрипты и десктопные программы для пинга по RPC каталогам...
    Но если кому то не жалко подарить 300 рублей, то ..... можете подарить их мне =)
     
  3. stooper

    stooper Shiva

    Moderator
    Регистр.:
    14 апр 2006
    Сообщения:
    533
    Симпатии:
    315
    похоже на скрытую рекламу. перенесем ка в мегафлуд. если есть скрипт - можно выложить. а не нет - и суда нет.