Robots

Тема в разделе "Вопросы новичков", создана пользователем Smit_, 6 авг 2010.

Статус темы:
Закрыта.
  1. Smit_

    Smit_ Создатель

    Регистр.:
    1 мар 2010
    Сообщения:
    19
    Симпатии:
    0
    1. Нужен ли robots.txt, если ни к чему не надо закрывать доступ на индексацию?
    Не является ли отсутствие robots.txt подозрительным для Яндекса? (Типа ничего не скрывает, значит хочет чтобы проиндексировались все страницы)
     
  2. ShoxMaster

    ShoxMaster

    Регистр.:
    3 дек 2008
    Сообщения:
    393
    Симпатии:
    150
    Создай пустой в таком случае, поисковый робот в первую очередь смотрит файл robots.txt
     
    Smit_ нравится это.
  3. zapal187

    zapal187 Постоялец

    Регистр.:
    7 июн 2010
    Сообщения:
    61
    Симпатии:
    19
    Ничего не будет, можешь даже не создавать его, через 1-2 месяца Яндекс сам удалит ненужные ему страницы.
     
    Smit_ нравится это.
  4. SDV

    SDV Создатель

    Регистр.:
    24 окт 2008
    Сообщения:
    38
    Симпатии:
    7
    Нужен, если ваш сайт не голый html.
    1. Многие CMS даёт доступ для одной страницы по нескольким адресам. Например, http://site.ru/, http://site.ru/index.php, http://site.ru/index.php?cid=блаблабла. Для поисковиков это разные страницы. Следовательно есть риск заработать пессимизацию за дублированный контент.
    2. На форумах, блогах не нужно показывать версии для печати, RSS ленты (по выше приведённой причине), а так же приватную информацию: профили и т.д.
    3. Есть страницы со служебной информацией. Тоже нафиг не надо светить.
     
    Smit_ нравится это.
  5. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    robots.txt это вспомогательный (хочу заметить вспомогательный, а не обязательный) механизм индексации сайтов, а точнее вы помогаете роботам правильно индексировать сайт.


    В общем не чего страшного не будет, со временем как у же писали выше, ПС сами убирут не нужные им страницы.
     
    Smit_ нравится это.
  6. Marina11

    Marina11 Создатель

    Регистр.:
    3 июн 2010
    Сообщения:
    16
    Симпатии:
    2
    sdv прав, и все говорят не стоит кейворды и дескрипшены прописывать, все на автомете просто ставят :) вот это из той же оперы, может и не стоит, но не поленитесь :) все равно ведь найдется что написать.
     
    Smit_ нравится это.
  7. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    Не я все же считаю что нет смысла создавать если не надо не чего крыть от ПС, чего то клеить и т.д. зачем создавать пустой файл, это равносильно тому что если вообще его не создавать, придет время будет потребность создаст, а так если только для успокоения души.

    И вообще как может найтись что написать если нечего написать, вообще это попахивает оперой:
    - Мол, че я Рыжий что ли? Все прыгнули с 9-го этажа без парашута и я прыгну.

    Глупа это в общем, не вижу смысла если нет потребности.


    P.S.: По поводу meta keywords подымал тему, обсуждение довольно интересное получилось, в особенности хочу выделить пост под номером 9. В общем кому интересно может почитать:
    https://www.nulled.cc/showthread.php?t=183198
    Кнопка спасибо находиться ниже и правее ;)
     
    Smit_ нравится это.
  8. winews

    winews Постоялец

    Регистр.:
    25 мар 2009
    Сообщения:
    49
    Симпатии:
    2
    robots.txt нужен, на него глядят поисковики и он помогает скрыть дубли страниц.
    есть онлайн ервисы по созданию этих файлов если нет навыков и желания
    лишним не будет поверьте
     
    Smit_ нравится это.
  9. WINTERSPROWS

    WINTERSPROWS Постоялец

    Регистр.:
    22 мар 2010
    Сообщения:
    149
    Симпатии:
    93
    строками которые определённо должны быть в файлике являются
    Host: sssite.ru
    Sitemap: sssite.ru/sitemap.xml
     
  10. KingLink

    KingLink Создатель

    Регистр.:
    21 июн 2010
    Сообщения:
    47
    Симпатии:
    5
    для поисковиков site.ru/, site.ru/index.php и site.ru/index.html это уже не разные страницы. Давно всем известно
    А вот если есть адреса site.ru/index.php?mod=ххххххх и т.п., совпадающие с главной страницей - тут уже можно получить санкции за дублирование контента
     
Статус темы:
Закрыта.