Как узнать приходит на сайт бот яши или нет?

Статус
В этой теме нельзя размещать новые ответы.

web-investor

Постоялец
Регистрация
19 Окт 2007
Сообщения
504
Реакции
113
Здравствуйте!

Каким образом можно узнать заходит на сайт бот яндекса или нет?
Сайт загрузил вчера, сразу добавил его в webmaster.yandex.ru, подтвердил права на сайт.

Если захожу в статистику панели хостера, выдает, что пока статистики нет.
 
А я для быстрой индексации покупаю на денек около 100 ссылок в сапе.
 
Если у хостера cpanel, где можно логи посмотреть?
 
---ответ выше
 
Ага, зашел глянул, там вот что:
77.88.18.195 - - [31/Aug/2010:18:09:24 +0400] "HEAD / HTTP/1.0" 200 - "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"
77.88.18.195 - - [31/Aug/2010:18:09:25 +0400] "GET /robots.txt HTTP/1.0" 200 77 "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"

Значит бот приходил? И запросил потом robots.txt? Я пошел глянул, че у меня написано в robots.txt, вот это:
User-Agent: *
Disallow: /_private/
User-agent: Yandex
Disallow: /_private/

Этот файл robots.txt похоже был создан автоматически, я его не создавал. Скжите это нормально?
 
Обычно в папке logs, смотреть файловым менеджером.(во, несколько ответов одновременно :))
 
Ага, зашел глянул, там вот что:
77.88.18.195 - - [31/Aug/2010:18:09:24 +0400] "HEAD / HTTP/1.0" 200 - "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"
77.88.18.195 - - [31/Aug/2010:18:09:25 +0400] "GET /robots.txt HTTP/1.0" 200 77 "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"
Значит бот приходил?
Отсюда видно что бот пришел после добавления в явебмастер.
Основной же придет чуть попозже, должен быть YandexBot/3.0, как писали выше.
 
Ясно, интересно, почему бот яндекса пришел, только когда я добавил сайт через AddUrl, что во 2-ом посте, ведь я еще вчера сайт добавлял панель вебмастера на яндексе + еще права подтверждал...

А robots.txt правильно заполнен?
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху