Как закрыть от индексации все страницы?

[seoalk]

Как закрыть от индексации все страницы, кроме морды от гугля? можно какнить прописать в robots.txt без списка всех страниц?

 

[BBnics]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Невозможно, например, запретить индексацию всего сайта кроме главной страницы без явного перечисления всех возможных путей, поскольку строка Disallow: / запретит индексировать весь сайт полностью.

ставьте на всех страницах, кроме главной
<meta name="robots" content="noindex"> или
<meta name="robots" content="noindex,nofollow">

 

[disan]

Если все остальные страницы размещены в какой-то директории, то достаточно прописать в robots.txt эту директорию. Например:
User-agent: *
Disallow: /cgi-bin/

 

[seoalk]

Если все остальные страницы размещены в какой-то директории, то достаточно прописать в robots.txt эту директорию.

вот и нету этой директории а все страницы - влом, но, походу придется

 

[davik]

Как закрыть от индексации все страницы, кроме морды от гугля? можно какнить прописать в robots.txt без списка всех страниц?

Для гугла это возможно. Вот пример
User-agent: Googlebot
Disallow: /catalog1/
Allow: /catalog1/moy_file.html

Подробнее можешь почитать на гугле в панели вебмастера.

 

[i-no]

Гуглбот поддерживает регулярки, так что если в урлах есть например расширения .php, .html или просто какие-то повторяющиеся символы, то закрыть для индексации все страницы кроме главной (не сильно напрягаясь) возможно.

Для просмотра ссылки Войди или Зарегистрируйся

Пример файла robots.txt:

User-Agent: Googlebot
Disallow: /*.php$
Allow: /index.php

 

[seoalk]

Disallow: /
Allow: /index1.html
вот так разрешает domen.com/index1.html
а если единичку убираешь - нифига не работает

 

[i-no]

Тогда попробуйте в файле .htaccess прописать строчку:

DirectoryIndex index1.html

После чего переименовать файл index.html в файл index1.html

А в robots.txt написать так:

User-Agent: Googlebot
Disallow: /*.html$
Allow: /index1.html

Хотя не совсем понял, чего не работает?
Остальные страницы тоже с расширением .html или только титульная?

 

[tvsm22]

но кстати, если на страницы стоят ссылки, то они все равно могут оказаться в индексе..., даже будучи закрытыми через robots.txt

 

[werner2]

Достаточно прописать в robots

User-agent: *
Disallow: /