Непонятная ситуация с гуглом. Возможен ли бан диапазона ип?

Тема в разделе "Тех. вопросы", создана пользователем opa100pe, 14 окт 2010.

  1. opa100pe

    opa100pe Создатель

    Регистр.:
    13 сен 2010
    Сообщения:
    32
    Симпатии:
    0
    Сегодня целый день дергал гугл без таймаута, просто менял айпишник на адсле, когда банили. Сейчас какая-то фигня началась - все нормально открывается в браузере, а скрипты отваливаются с 403, 404 ошибками при запросах к google.com. Пробовал реконектиться, ловил ипаки в 4 совершенно разных диапазонах - одна хрень. Никогда не сталкивался с таким- не знаю что думать... Может он палит какие то стандартные заголовки http клиента и запрещает запросы?..

    Вот щас спецом глянул:
    urllib2.urlopen('http://google.com') - выдет 404 ошибку,
    urllib2.urlopen('http://google.ru') - открывает
    urllib2.urlopen('http://google.ru/search?q=site') - выдает 403 ошибку.
    Колдовство какое-то

    edit: поробовал сейчас юзнуть урлиб с проксей - все работает, так что это походу такой хитрый бан. доигрался =)
    можно удалять впринципе.
     
  2. DeaDSandro

    DeaDSandro Создатель

    Регистр.:
    30 апр 2010
    Сообщения:
    49
    Симпатии:
    16
    Заголовок User-agent используешь? попробуй его сменить
     
  3. helloker

    helloker Постоялец

    Регистр.:
    2 май 2008
    Сообщения:
    60
    Симпатии:
    6
    Проверено! Палит именно по http заголовкам.
    Плюс к тому, если дергаете google просто через браузер, то еще и через куки.
    А если еще и мозиллой с установленным тулбаром гугл, то вообще нет никаких проблем определить вас на любом ip:)
     
  4. ocheretko

    ocheretko Постоялец

    Регистр.:
    28 фев 2009
    Сообщения:
    112
    Симпатии:
    50
    дергайте по разным датацентам