Парсер кеша google - помогите модернизировать

[sherh]

Понадобилось вытянуть кучу страниц из кеша гугля. Полез в поиск - нашел скрипт на форуме сапы - админ выкладывал.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Скрипт свое дело делает, но гугль банит очень быстро. Думаю, если его немного модернизировать, чтобы он запросы посылал с задержкой, то банить не должен.
Еще погуглил на эту тему - нашел блог

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

где как раз говорится как такое реализовать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Как связать первое и второе - не знаю. Помогите пожалуйста. Может есть другие решения?

 

[-=Xardas=-]

Хорошо бы иметь в арсенале PHP команду, типа wait (подождать). Но, такой команды, на сколько я знаю, нет.

а sleep() или usleep() не нравится? После

$cached[]=$page; // Сохраняем адреса скачанных страниц, чтоб не повторяться

добавь строку:

sleep(rand(30, 60)); // Вставляем случайную задержку от 30ти до 60ти секунд.

и строку

set_time_limit(1800);

замени на:

set_time_limit(0);

и будет тебе задержка

 

[Liver]

array_unique($starturls); // Убираем дубликаты, на всякий случай 
array_unique($cached); // Убираем дубликаты

не будет так работать. надо так.

$starturls=array_unique($starturls); // Убираем дубликаты, на всякий случай 
$cached=array_unique($cached); // Убираем дубликаты

 

[sherh]

а sleep() или usleep() не нравится? ...

-=Xardas=-, не работает. Гугл все равно банит, успевает сохранить 40-50 страниц и все. Может можно как-то по-другому?

 

[swer]

А еще лучше через прокси,к прим у меня поиск по н сайтам,и что бы не банили я использую прокси

$proxy_host = array("127.0.0.1:8080", "127.0.0.1:80", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080", "127.0.0.1:8080","127.0.0.1:8080","127.0.0.1:8080","127.0.0.1:8080","127.0.0.1:8080","127.0.0.1:8080","127.0.0.1:8080");
$sikl = rand(0, 16);
$proxy=$proxy_host[$sikl];

а дальше скачиваю через курл(вставляя значение прокси $proxy) и все дела...
Получается так что он у тебя рандомно берет прокси что не вызывает у гугля подозрения....

 

[-=Xardas=-]

-=Xardas=-, не работает. Гугл все равно банит, успевает сохранить 40-50 страниц и все. Может можно как-то по-другому?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[_sergey_]

Скомпоновал, указанное выше получилось:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Запускаю на Денвере, указываю домен, через несколько секунд независимо от домена, какой ни введёшь - появляется надпись не найдено. В чём может быть дело?