Google игнорирует robots.txt???

Тема в разделе "Зарубежные поисковики", создана пользователем FL@SH, 20 янв 2009.

Статус темы:
Закрыта.
  1. FL@SH

    FL@SH Читатель

    Заблокирован
    Регистр.:
    20 июл 2008
    Сообщения:
    193
    Симпатии:
    25
    Добрый день. Вот, столкнулся с проблемой. Есть сайт на DLE. В него вставил роботс.тхт вот такого содержания

    User-Agent: *
    Disallow: /user/

    с целью убрать из индексации страницы с профилями пользователей. Яша ни одного профиля не проиндексировал, а гуг все ссылки http://site.ru/user/blablabla индексирует. Может я что-то неправильно в robots.txt сделал? :(
     
  2. FENRIT

    FENRIT Писатель

    Регистр.:
    12 янв 2009
    Сообщения:
    9
    Симпатии:
    0
    хз, может глюк какой
    попробуй без слеша на конце
    т.е Disallow: /user
     
  3. ant1-pa

    ant1-pa

    Регистр.:
    3 ноя 2007
    Сообщения:
    448
    Симпатии:
    96

    ты сделал все верно, просто обожди пока все обновится, если хочешь чтобы страницы выпали побыстрей то удали страницы в в панеле для вебмастера у гугли.
     
  4. ar4ik

    ar4ik

    Регистр.:
    26 ноя 2007
    Сообщения:
    331
    Симпатии:
    95
    robots.txt это не указание, а рекомендации для Гугла
    с Яшей тут попроще
     
  5. zakaji

    zakaji

    Регистр.:
    8 сен 2007
    Сообщения:
    407
    Симпатии:
    171
    Все написано верно у тебя в роботсе, остается ждать, можно еще новый сайтмап сделать без этих ссылок и скормить Гоше, тогда он в пару днeй лишнее должен выкинуть из индекса)
     
  6. OnArs

    OnArs

    Регистр.:
    30 авг 2008
    Сообщения:
    259
    Симпатии:
    74
    Всё нормально! Не беспокойтесь, пройдёт после обновлений в гугле, по-крайней мере сделано всё правильно, остаётся только ждать :ay:

    P.s. По поводу того, что robots.txt для гугли это лишь рекомендации, а не указание в корне несогласен, всегда работал роботс как для яши, как для гугли, так и для других разумных поисковых систем. ;)
     
  7. Tverdolik

    Tverdolik Постоялец

    Регистр.:
    13 мар 2008
    Сообщения:
    68
    Симпатии:
    46
    Как вариант продублировать ниже

    User-Agent: googlebot

    персонально для бота гугла, а не абстрактное для всех, может тогда он сообразит.

    Так же можно использовать на страницах мета-тег:

    <meta name="robots" content="noindex">


    или

    <meta name="googlebot" content="noindex">

    , запрет на использование кэша данных страниц:

    <meta name="robots" content="noarchive">

    Если уж совсем плохо, то зарегся в панели гугл для вебмастеров и там есть пункт в разделе связи с гугл "Запрос на пересмотр сайта".
     
  8. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    В инструментах для вебмастеров у яндекса и гугля есть возможность тестирования роботс.тхт. Воспользуйся ей и проверь конкретные урлы на индексацию.

    Если эти урлы запрещены - удали их через те же панели - это самый быстрый метод.
     
Статус темы:
Закрыта.