[Архив] Парсеры

Статус
В этой теме нельзя размещать новые ответы.

miker

Постоялец
Регистрация
31 Июл 2006
Сообщения
176
Реакции
119
Предлагаю в данном топике выкладывать различные парсеры.
Начну с простейшего парсера овертюры:
 
Не с seomoz'а случаем взял? :)
 
Оттуда, вот ещё есть, который сейчас юзаю
 

Вложения

  • keyword.zip
    9,4 KB · Просмотры: 240
Вот еще поглядите, чего это за парсер, лады?

Требования:
- set_time_limit(0) должна быть разрешена на хостинге
или должна быть разрешена директива:
php_value max_execution_time 0
в .htaccess. Проконсультируйтесь у хостера!

-Заливаем на хост
(Для версии под зендом заливать все PHP файлы в binary режиме)
-Задаем права 777 на папку со скриптом
-Задаем права 777 на папку /bases/
-Задаем права 777 на папку /bases/global/
-Задаем права 777 на папку /keywords/
-Задаем права 777 на папку /keywords/global/
-Задаем права 777 на папку /parsed/
-Задаем права 777 на папку /parsed/global/
-Задаем настройки в config.php

Запустите скрипт. Скорость работы скрипта зависит от Вашего хостинга,
заданных параметров фильтрования и размера базы.

Вы можете запустить данный скрипт, а затем выключить компьютер,
так как скрипт будет работать автономно! Вам останется только забрать
базы через какое-то время. Базы будут готовы, когда перестанет расти
размер файла good**.txt ;)

В папку bases сохраняются фильтрованные базы
В папку keywords сохраняются фильтрованные кейворды
В папку parsed сохраняются собранные базы
В подпапках
- global - базы собранные за все время
- 2006XXXXXX - базы собранные за один запуск

Про парсер:
- Чем больше проксей, тем больше базы можно собрать
Используйте только качественные анонимные прокси. А то гугл нелюбит
много запросов получать с одного ip и базы не дает ;)
- Без проксей парсится только несколько страниц (зависит от поисковика)

Если у Вас базы большого размера, то пропишите в .htaccess или php.ini
php_value upload_max_filesize 20000000 (20 MB)
Это описание было.
Я еще поищу у меня вроде что-то еще валяется, блин хаос на компе...
 
чтото я не понимаю... частный скрипт и под зендом.

нехорошо !

я 5 раз подумаю прежде чем себе зенд ставить... даже если это от известного разработчика. Ибо чревато.
 
вот еще один на перле мож кому пригодится
 

Вложения

  • server_retrieve.rar
    2,2 KB · Просмотры: 125
someone написал(а):
чтото я не понимаю... частный скрипт и под зендом.

нехорошо !

я 5 раз подумаю прежде чем себе зенд ставить... даже если это от известного разработчика. Ибо чревато.
Вы не совсем поняли - это не мой скрипт, я не автор - это знаменитая парсилка какая-то, парсит 5 поисковиков, в том числе Яшу и Раблер. А вы смотрели - там действительно зенд есть? Я инструкцию просто скопи-пастил.
 
нет там зенда, то я тоже не посмотрел ;)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху