[help] Проблема с индексацией Яндексом

Тема в разделе "vBulletin", создана пользователем alitur, 12 ноя 2008.

Статус темы:
Закрыта.
  1. alitur

    alitur Постоялец

    Регистр.:
    25 авг 2008
    Сообщения:
    61
    Симпатии:
    12
    Мой форум

    http://www.film-cafe.ru/

    Ссылка но robots.txt

    http://www.film-cafe.ru/robots.txt


    Проблема в следующем: не ищется по уникальному тексту на главной, хотя, если поискать по тайтлу на первом месте. Прошу гуру помочь, может я что-то с роботсом намудрил? Или что-то в коде не так.
     
  2. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    а ничего что у тебя закрыто для индексации все что только можно? Ты откуда вообще придумал такой робот? Мне просто логика твоя интересна :) В нем фигня написанна полная. Если не хочеш чтоб роботы индексировани календари и списки юзеров закрой просмотр этих разделов юзерам группы гости и все. А так ты просто поиздевался над пауками этим роботом и они тебе плытят тем же.

    вот предел того что тебе нужно. если хочеш еще аватары и аттачи закрой. И ВСЕ. Остальное если закрыть хочеш то не силами робота. модсп и админсп мохжно хтассесом закрыть поставив доп пороль, просмотр поисковиками закрываеш запретом для просмотра нужного места группе "гости" потому что поисковики под ней заходят.
     
    alitur нравится это.
  3. alitur

    alitur Постоялец

    Регистр.:
    25 авг 2008
    Сообщения:
    61
    Симпатии:
    12
    lift, часть я посмотрел на серче их роботс, часть добавил от себя. А именно, закрыл голосовалку, показать сообщение отдельно, календарь, и т.п.

    То что, Вы мне посоветовали закроет это все?
     
  4. rijy

    rijy

    Регистр.:
    3 ноя 2007
    Сообщения:
    249
    Симпатии:
    82
    Disallow: /poll.php - голосовалка
    Disallow: /calendar.php - календарь
    Disallow: /showpost.php - пост отдельно
    другое дело - ЗАЧЕМ это закрывать от индексации? это тоже контент, и возможно он привлечет лишнюю пару-тройку уников на сайт.
    закрой календарь, профили юзеров.. ну и админки можно.
     
  5. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    alitur
    то что что-то там на серче написано в роботе еще не значит что это правильно. Вот пример:

    http://www.rbc.ru/robots.txt

    и в превых 2-х строках "крутые" специ написали
    правило для всех поисковиков а в комменте написали что это:
    и этот комментарий противоречит синтаксису написанного. А тоже блин ресурс не мелкий.
    Хороший робот это лаконичный робот. Копировать чужое это не значит сделать хорошо даже если скопировал из авторитетного источника. Сначала настрой сам движек чтоб он не показывал то что тебе не нужно поисковикам, а роботом уже прикрой системные папки и определи хост. И все.
    п.с. Кстати модцп и админцп роботом лучше не закрывай а закрой их хтассесом чтоб толпы кулхацкеров не ломанулись брутить твои пароли узнав из робота расположение твоей админки.
     
Статус темы:
Закрыта.