Как избежать попадания сайта в индекс ПС раньше времени?

[trooll]

Приветствую, сообщество.

Взял домен месяц назад, начал на нем делать сайт. Не в какие адурилки сайт не добавлял, в общем пока не планировал выпускать порезвиться сайт на просторы интернета.

Сегодня решил проверить нет ли сайта в выдаче ПС, проверил Яндекс все ок нету сайта в выдаче яшкий, проверяю гугл сцука в индексе сидит уже большая часть сайта, выматерился елки палки, что за нафиг.

Как он мать его туда попал вообще? Я знаяю что гугл это вездесущая сволочь но твоюжешмать как так, кто его просил. В общем я возмущен

Я конечно хочу стразу извиниться может быть это нубовский вопрос, но чего то я не в курсе ребята как это реализовать.

Какие есть методы и способы предотвращения преждевременной индексации поисковиками?

 

[1467]

Делай сайт на локалхосте при помощи denwer или VertrigoServ, а только потом когда он будет готов размещай на хостинг или ВПС.

 

[kpromo]

В robots.txt
disallow: /

 

[cmwork]

disallow: /

в .htaccess

 

[kpromo]

disallow: /
в .htaccess

если через .htaccess то так:

order deny, allow
deny from all
allow from xxx.xxx.xxx.xxx // ваш IP

 

[brett]

наверное правильнее все же будет так роботс выглядеть

User-agent: *
Disallow: /

 

[Kewl]

User-agent: *
Disallow: /

User-agent: Yandex
Disallow: /

Всегда указывайте для яндекса себя любимого. Часто он Харкает на *.
Вот таким образом вас не проиндексируют, но бывают и отголоски типа аск итд других поисковиков менее известных, лучше перекрыть по IP как показали выше в хтакцесс, если часто изменяется айпишник то ставим

XXX.XXX вот так и все и доделали сайт выкинули в общество.

 

[trooll]

Делай сайт на локалхосте при помощи denwer или VertrigoServ, а только потом когда он будет готов размещай на хостинг или ВПС.

Не вариант, надо именно на удаленном сервере, так как работают граберы, парсеры, некоторые скрипты и т.д. в общем не вдаваясь в подробности, надо было сразу на сервере.


Думаю нашел верный вариант, в будущем буду использовать вариант с .htaccess доступ только определенному IP.

User-agent: *
Disallow: /
User-agent: Yandex
Disallow: /
Всегда указывайте для яндекса себя любимого. Часто он Харкает на *...

Раз пошла такая пьянка спрошу еще в этой теме тогда. То есть получается если у меня сейчас роботс прописан такой (это CMS DLE

User-agent: *
Disallow: /*print
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /*do=lastcomments
Disallow: /*do=register
Disallow: /statistics.html 
Disallow: /newposts/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=feedback
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /templates/
Disallow: /languages/
Host: my-site.com
Sitemap: http://my-site.com/sitemap.xml

а надо прописывать тогда так:

User-agent: *
Disallow: /*print
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /*do=lastcomments
Disallow: /*do=register
Disallow: /statistics.html 
Disallow: /newposts/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=feedback
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /templates/
Disallow: /languages/
Host: my-site.com
Sitemap: http://my-site.com/sitemap.xml
--------ТУТ_ПУСТАЯ_СТРОКА-----------
User-agent: Yandex
Disallow: /*print
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /*do=lastcomments
Disallow: /*do=register
Disallow: /statistics.html 
Disallow: /newposts/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=feedback
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /templates/
Disallow: /languages/
Host: my-site.com
Sitemap: http://my-site.com/sitemap.xml

То есть дублировать все для яндекса? Или я что то не понял?

 

[dixi]

можно еще выдавать заглушку всем кроме админа - так на юкозе к примеру реализовано.

А вообще, конечно, сторона сео больше, но чем раньше сайт попадет в индекс и чем раньше пс увидит, что над сайтом ведутся работы - тем лучше для сайта в плане траста, который хоть и позже, но очень пригодится при продвижении.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[kpromo]

То есть дублировать все для яндекса? Или я что то не понял?

Я для яндекса всегда указываю отдельный кусок роботс. Лучше перестраховаться)