Как избежать попадания сайта в индекс ПС раньше времени?

Тема в разделе "Вопросы новичков", создана пользователем trooll, 5 авг 2011.

Статус темы:
Закрыта.
  1. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    Приветствую, сообщество.

    Взял домен месяц назад, начал на нем делать сайт. Не в какие адурилки сайт не добавлял, в общем пока не планировал выпускать порезвиться сайт на просторы интернета.

    Сегодня решил проверить нет ли сайта в выдаче ПС, проверил Яндекс все ок нету сайта в выдаче яшкий, проверяю гугл сцука в индексе сидит уже большая часть сайта, выматерился елки палки, что за нафиг.

    Как он мать его туда попал вообще? Я знаяю что гугл это вездесущая сволочь но твоюжешмать как так, кто его просил. В общем я возмущен:mad:

    Я конечно хочу стразу извиниться может быть это нубовский вопрос, но чего то я не в курсе ребята как это реализовать.

    Какие есть методы и способы предотвращения преждевременной индексации поисковиками?
     
  2. 1467

    1467 Постоялец

    Регистр.:
    29 сен 2009
    Сообщения:
    70
    Симпатии:
    49
    Делай сайт на локалхосте при помощи denwer или VertrigoServ, а только потом когда он будет готов размещай на хостинг или ВПС.
     
  3. kpromo

    kpromo Постоялец

    Регистр.:
    8 май 2010
    Сообщения:
    123
    Симпатии:
    14
    В robots.txt
    disallow: /
     
  4. cmwork

    cmwork Постоялец

    Регистр.:
    10 сен 2009
    Сообщения:
    120
    Симпатии:
    23
    disallow: /

    в .htaccess
     
  5. kpromo

    kpromo Постоялец

    Регистр.:
    8 май 2010
    Сообщения:
    123
    Симпатии:
    14
    если через .htaccess то так:

    order deny, allow
    deny from all
    allow from xxx.xxx.xxx.xxx // ваш IP
     
  6. brett

    brett

    Регистр.:
    3 фев 2009
    Сообщения:
    213
    Симпатии:
    33
    наверное правильнее все же будет так роботс выглядеть

    User-agent: *
    Disallow: /
     
  7. Kewl

    Kewl

    Регистр.:
    9 сен 2007
    Сообщения:
    249
    Симпатии:
    107
    User-agent: *
    Disallow: /

    User-agent: Yandex
    Disallow: /

    Всегда указывайте для яндекса себя любимого. Часто он Харкает на *.
    Вот таким образом вас не проиндексируют, но бывают и отголоски типа аск итд других поисковиков менее известных, лучше перекрыть по IP как показали выше в хтакцесс, если часто изменяется айпишник то ставим

    XXX.XXX вот так и все и доделали сайт выкинули в общество.
     
  8. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    Не вариант, надо именно на удаленном сервере, так как работают граберы, парсеры, некоторые скрипты и т.д. в общем не вдаваясь в подробности, надо было сразу на сервере.


    Думаю нашел верный вариант, в будущем буду использовать вариант с .htaccess доступ только определенному IP.


    Раз пошла такая пьянка спрошу еще в этой теме тогда. То есть получается если у меня сейчас роботс прописан такой (это CMS DLE:(
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /engine/
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /*do=lastcomments
    Disallow: /*do=register
    Disallow: /statistics.html 
    Disallow: /newposts/
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=feedback
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /templates/
    Disallow: /languages/
    Host: my-site.com
    Sitemap: http://my-site.com/sitemap.xml
    а надо прописывать тогда так:
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /engine/
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /*do=lastcomments
    Disallow: /*do=register
    Disallow: /statistics.html 
    Disallow: /newposts/
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=feedback
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /templates/
    Disallow: /languages/
    Host: my-site.com
    Sitemap: http://my-site.com/sitemap.xml
    --------ТУТ_ПУСТАЯ_СТРОКА-----------
    User-agent: Yandex
    Disallow: /*print
    Disallow: /engine/
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /*do=lastcomments
    Disallow: /*do=register
    Disallow: /statistics.html 
    Disallow: /newposts/
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=feedback
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /templates/
    Disallow: /languages/
    Host: my-site.com
    Sitemap: http://my-site.com/sitemap.xml
    То есть дублировать все для яндекса? Или я что то не понял?
     
  9. dixi

    dixi

    Регистр.:
    15 июн 2011
    Сообщения:
    197
    Симпатии:
    51
    можно еще выдавать заглушку всем кроме админа - так на юкозе к примеру реализовано.

    А вообще, конечно, сторона сео больше, но чем раньше сайт попадет в индекс и чем раньше пс увидит, что над сайтом ведутся работы - тем лучше для сайта в плане траста, который хоть и позже, но очень пригодится при продвижении.

    http://robotstxt.org.ru/

    http://help.yandex.ua/webmaster/?id=1115958&ncrnd=851
     
  10. kpromo

    kpromo Постоялец

    Регистр.:
    8 май 2010
    Сообщения:
    123
    Симпатии:
    14
    Я для яндекса всегда указываю отдельный кусок роботс. Лучше перестраховаться)
     
Статус темы:
Закрыта.