Robots

Тема в разделе "Вопросы новичков", создана пользователем Smit_, 6 авг 2010.

Статус темы:
Закрыта.
  1. Smit_

    Smit_ Создатель

    Регистр.:
    1 мар 2010
    Сообщения:
    19
    Симпатии:
    0
    1. Нужен ли robots.txt, если ни к чему не надо закрывать доступ на индексацию?
    Не является ли отсутствие robots.txt подозрительным для Яндекса? (Типа ничего не скрывает, значит хочет чтобы проиндексировались все страницы)
     
  2. ShoxMaster

    ShoxMaster

    Регистр.:
    3 дек 2008
    Сообщения:
    393
    Симпатии:
    150
    Создай пустой в таком случае, поисковый робот в первую очередь смотрит файл robots.txt
     
    Smit_ нравится это.
  3. zapal187

    zapal187 Постоялец

    Регистр.:
    7 июн 2010
    Сообщения:
    61
    Симпатии:
    19
    Ничего не будет, можешь даже не создавать его, через 1-2 месяца Яндекс сам удалит ненужные ему страницы.
     
    Smit_ нравится это.
  4. SDV

    SDV Создатель

    Регистр.:
    24 окт 2008
    Сообщения:
    38
    Симпатии:
    7
    Нужен, если ваш сайт не голый html.
    1. Многие CMS даёт доступ для одной страницы по нескольким адресам. Например, Перейти по ссылке. Для поисковиков это разные страницы. Следовательно есть риск заработать пессимизацию за дублированный контент.
    2. На форумах, блогах не нужно показывать версии для печати, RSS ленты (по выше приведённой причине), а так же приватную информацию: профили и т.д.
    3. Есть страницы со служебной информацией. Тоже нафиг не надо светить.
     
    Smit_ нравится это.
  5. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    robots.txt это вспомогательный (хочу заметить вспомогательный, а не обязательный) механизм индексации сайтов, а точнее вы помогаете роботам правильно индексировать сайт.


    В общем не чего страшного не будет, со временем как у же писали выше, ПС сами убирут не нужные им страницы.
     
    Smit_ нравится это.
  6. Marina11

    Marina11 Создатель

    Регистр.:
    3 июн 2010
    Сообщения:
    16
    Симпатии:
    2
    sdv прав, и все говорят не стоит кейворды и дескрипшены прописывать, все на автомете просто ставят :) вот это из той же оперы, может и не стоит, но не поленитесь :) все равно ведь найдется что написать.
     
    Smit_ нравится это.
  7. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    Не я все же считаю что нет смысла создавать если не надо не чего крыть от ПС, чего то клеить и т.д. зачем создавать пустой файл, это равносильно тому что если вообще его не создавать, придет время будет потребность создаст, а так если только для успокоения души.

    И вообще как может найтись что написать если нечего написать, вообще это попахивает оперой:
    - Мол, че я Рыжий что ли? Все прыгнули с 9-го этажа без парашута и я прыгну.

    Глупа это в общем, не вижу смысла если нет потребности.


    P.S.: По поводу meta keywords подымал тему, обсуждение довольно интересное получилось, в особенности хочу выделить пост под номером 9. В общем кому интересно может почитать:
    https://www.nulled.cc/showthread.php?t=183198
    Кнопка спасибо находиться ниже и правее ;)
     
    Smit_ нравится это.
  8. winews

    winews Постоялец

    Регистр.:
    25 мар 2009
    Сообщения:
    49
    Симпатии:
    2
    robots.txt нужен, на него глядят поисковики и он помогает скрыть дубли страниц.
    есть онлайн ервисы по созданию этих файлов если нет навыков и желания
    лишним не будет поверьте
     
    Smit_ нравится это.
  9. WINTERSPROWS

    WINTERSPROWS Постоялец

    Регистр.:
    22 мар 2010
    Сообщения:
    149
    Симпатии:
    93
    строками которые определённо должны быть в файлике являются
    Host: sssite.ru
    Sitemap: sssite.ru/sitemap.xml
     
  10. KingLink

    KingLink Создатель

    Регистр.:
    21 июн 2010
    Сообщения:
    47
    Симпатии:
    5
    для поисковиков site.ru/, site.ru/index.php и site.ru/index.html это уже не разные страницы. Давно всем известно
    А вот если есть адреса site.ru/index.php?mod=ххххххх и т.п., совпадающие с главной страницей - тут уже можно получить санкции за дублирование контента
     
Статус темы:
Закрыта.