Как узнать приходит на сайт бот яши или нет?

Тема в разделе "Вопросы новичков", создана пользователем web-investor, 31 авг 2010.

Статус темы:
Закрыта.
  1. web-investor

    web-investor

    Регистр.:
    19 окт 2007
    Сообщения:
    501
    Симпатии:
    113
    Здравствуйте!

    Каким образом можно узнать заходит на сайт бот яндекса или нет?
    Сайт загрузил вчера, сразу добавил его в webmaster.yandex.ru, подтвердил права на сайт.

    Если захожу в статистику панели хостера, выдает, что пока статистики нет.
     
  2. Rafa007

    Rafa007

    Регистр.:
    4 июл 2008
    Сообщения:
    154
    Симпатии:
    135
    Ищешь в логах хостинга этого бота YandexBot/3.0 — основной индексирующий робот
    Для более быстрой индексации добавь сайт в сервис AddUrl
     
    web-investor нравится это.
  3. terabass

    terabass

    Регистр.:
    9 мар 2010
    Сообщения:
    153
    Симпатии:
    11
    А я для быстрой индексации покупаю на денек около 100 ссылок в сапе.
     
    web-investor нравится это.
  4. web-investor

    web-investor

    Регистр.:
    19 окт 2007
    Сообщения:
    501
    Симпатии:
    113
    Если у хостера cpanel, где можно логи посмотреть?
     
  5. UDAV

    UDAV

    Регистр.:
    22 июн 2007
    Сообщения:
    776
    Симпатии:
    153
    Логи через фтп смотри.
    Лежат в папке /logs. Файлы домен.access.log
     
    web-investor нравится это.
  6. terabass

    terabass

    Регистр.:
    9 мар 2010
    Сообщения:
    153
    Симпатии:
    11
    ---ответ выше
     
  7. web-investor

    web-investor

    Регистр.:
    19 окт 2007
    Сообщения:
    501
    Симпатии:
    113
    Ага, зашел глянул, там вот что:
    77.88.18.195 - - [31/Aug/2010:18:09:24 +0400] "HEAD / HTTP/1.0" 200 - "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"
    77.88.18.195 - - [31/Aug/2010:18:09:25 +0400] "GET /robots.txt HTTP/1.0" 200 77 "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"

    Значит бот приходил? И запросил потом robots.txt? Я пошел глянул, че у меня написано в robots.txt, вот это:
    User-Agent: *
    Disallow: /_private/
    User-agent: Yandex
    Disallow: /_private/

    Этот файл robots.txt похоже был создан автоматически, я его не создавал. Скжите это нормально?
     
  8. Andy_ham

    Andy_ham Джедай на пенсии

    Регистр.:
    3 сен 2007
    Сообщения:
    450
    Симпатии:
    264
    Обычно в папке logs, смотреть файловым менеджером.(во, несколько ответов одновременно :))
     
  9. meloman1

    meloman1

    Регистр.:
    4 мар 2009
    Сообщения:
    179
    Симпатии:
    97
    Отсюда видно что бот пришел после добавления в явебмастер.
    Основной же придет чуть попозже, должен быть YandexBot/3.0, как писали выше.
     
    web-investor нравится это.
  10. web-investor

    web-investor

    Регистр.:
    19 окт 2007
    Сообщения:
    501
    Симпатии:
    113
    Ясно, интересно, почему бот яндекса пришел, только когда я добавил сайт через AddUrl, что во 2-ом посте, ведь я еще вчера сайт добавлял панель вебмастера на яндексе + еще права подтверждал...

    А robots.txt правильно заполнен?
     
Статус темы:
Закрыта.