Как узнать приходит на сайт бот яши или нет?

[meloman1]

А robots.txt правильно заполнен?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[web-investor]

Сайт без движка, просто инклуды через php.

 

[meloman1]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[web-investor]

Почитал, значит у меня в роботс.тхт запрещена к индексации папка "_private"?
Мой роботс.тхт так выглядит:
User-Agent: *
Disallow: /_private/
User-agent: Yandex
Disallow: /_private/

Но уменя нигде нет папки "_private"...

 

[meloman1]

Почитал, значит у меня в роботс.тхт запрещена к индексации папка "_private"?
Мой роботс.тхт так выглядит:
User-Agent: *
Disallow: /_private/
User-agent: Yandex
Disallow: /_private/
Но уменя нигде нет папки "_private"...

Да запрещена, может она автоматически создалась.

 

[mantronix]

в панельке Явебмастер, если сайт добавлен, показывает когда приходил

 

[web-investor]

Почему-то у меня в панели вэбмастер.яндекс на против сайта просто написано "Ваш сайт не проиндексирован", когда бот приходил или что еще нету.

 

[UDAV]

User-Agent: *
Disallow: /_private/
User-agent: Yandex
Disallow: /_private/
Этот файл robots.txt похоже был создан автоматически, я его не создавал. Скжите это нормально?

Сам он создасться не мог, у бота же нет прав на создание файлов на твоем фтп.

User-agent: Yandex
Disallow: /_private/
можно убрать -)

User-Agent: *
означает что правило действует для всех ботов.

 

[Mixxa]

А я для быстрой индексации покупаю на денек около 100 ссылок в сапе.

А потом, когда снимаешь через день эти ссылки, сайт прочно остается в индексе? Или так же легко может вылететь?

 

[web-investor]

Сам он создасться не мог, у бота же нет прав на создание файлов на твоем фтп.

Ну это понятно скорее всего этот файл создает сам хостер, при активации у него хостинг-аккаунта.