Похоже у Яши уже окончательно едет крыша

Тема в разделе "Русские поисковики", создана пользователем Slavikus, 5 апр 2010.

Статус темы:
Закрыта.
  1. Slavikus

    Slavikus Постоялец

    Регистр.:
    14 янв 2009
    Сообщения:
    100
    Симпатии:
    13
    Один из моих сатов в зоне org.ua долго (около 2 недель) не хотел лезть в индекс Яхи, остальные за 3-5 дней влезли, но это риторика.
    Нынче проиндексированы даже те страницы которые ЗАПРЕЩЕНЫ в движке и роботс.тхт причем висят благополучно уже 2-ю неделю)))
    Ну не ппц?) Кстати принт страницы запрещены как двигом так и роботсом, и тем не менее они в индексе)
    Вот такой вот роботс, двиг DLE
    У кого то наблюдается еще подобное?
    Кто в курсе, чем это обьяснить? :)
     
  2. o_nix

    o_nix

    Регистр.:
    7 ноя 2007
    Сообщения:
    1.073
    Симпатии:
    1.037
    Давно всем говорю поисковикам и особенно яндексу давным давно начхать на всякие роботсы - произошедшее всеголиш ещё одно подтверждение этому.
    Тоже самое с нофоловв и ноиндекс - они давным давно стали весьма условными, тоже самое уже и с редиректами (есть такое ощущение :D).
    Поисковики индексируют абсолютно всё, просто потом скрывают это.
     
  3. Slavikus

    Slavikus Постоялец

    Регистр.:
    14 янв 2009
    Сообщения:
    100
    Симпатии:
    13
    Тут даже не скрывают :D
    Вот когда НАДО то или иное проиндексировать, так фиг там)
    Зато когда нафик не надо, вот тебе на, получи индексацию))
    Это не Яндекс, это западлист какой то)))
     
  4. danneo

    danneo Честный

    Регистр.:
    13 ноя 2007
    Сообщения:
    1.418
    Симпатии:
    109
    наверно, отработка новых правил, т.к. частенько стал косяки находить, то в выдаче, то в индексе, то в параметрах сайтов
     
  5. anton88

    anton88

    Регистр.:
    13 май 2009
    Сообщения:
    224
    Симпатии:
    16
    robots - всего-лишь рекомендации для ботов, а не правило.
     
  6. GlazALmaz

    GlazALmaz

    Регистр.:
    16 фев 2010
    Сообщения:
    288
    Симпатии:
    18
    вообще-то не должно индексировать страницы, запрещенные в роботсе... в данном случае вероятно просто баг какой-то
     
  7. Dozor2

    Dozor2

    Регистр.:
    18 дек 2007
    Сообщения:
    328
    Симпатии:
    155
    Я не специалист в robots.txt, но помойму он не корректно составлен.

    Привожу цитату из хелпа яндекса:
    http://help.yandex.ru/webmaster/?id=996567

    То есть для Яши ты указал только хост и ничего к индексации не запретил.
     
    Slavikus нравится это.
  8. Slavikus

    Slavikus Постоялец

    Регистр.:
    14 янв 2009
    Сообщения:
    100
    Симпатии:
    13
    Я для всех роботов запретил индексацию) а яшу только ткнул носом в хост, или то что для всех других роботов правило для яши не правило и для него отдельно надо все дублировать получается?) раньше вроде так делал и все нормально было, пошел переделаю, потестим)
     
  9. ManCuniAn

    ManCuniAn

    Регистр.:
    5 фев 2009
    Сообщения:
    269
    Симпатии:
    32
    Да роботс неправильно составил.....гуглу ты запретил индексировать и а яше нет..

    удали строчку
    User-agent: Yandex
     
    Slavikus нравится это.
  10. Dozor2

    Dozor2

    Регистр.:
    18 дек 2007
    Сообщения:
    328
    Симпатии:
    155
    Я от нефиг делать тебе цитату из правил яндекса приводил чтоли? Еще и выделил где обратить внимание, и даже ссылку на оригинал дал. :mad:
     
Статус темы:
Закрыта.