яндекс и гугл не видят robots.txt

Тема в разделе "Тех. вопросы", создана пользователем MaxLord, 20 авг 2010.

Статус темы:
Закрыта.
  1. MaxLord

    MaxLord

    Регистр.:
    17 фев 2007
    Сообщения:
    325
    Симпатии:
    49
    Вопрос - godshop.ru/robots.txt из браузера виден.
    Яндекс говорит что файл не найден,
    Гугл говорит что сервер выдает ошибку 500
    проверка через веб-прокси hideme.ru выдает 404

    но с браузера напрямую у всех заходит!

    В чем трабла и как решить? Я схожу с ума)

    про технологию - robots.txt редиректится mod_rewrite-ом на php, который его генерит. Выдает чистый файл, помоему раньше это работало на ура. По такому же принципу работает sitemap.xml.

    Помогите пожалуйста)
     
  2. zerdek

    zerdek

    Регистр.:
    29 ноя 2007
    Сообщения:
    346
    Симпатии:
    50
    файл действительно дает 500 ошибку
    проверить с командной строки можно так:
    Код:
    wget -d http://godshop.ru/robots.txt
    
    ответ вашего сервера
    Код:
    ---response begin---
    HTTP/1.0 500 Internal Server Error
    Date: Sun, 22 Aug 2010 20:48:55 GMT
    Server: Apache/2.2.14 (Ubuntu)
    X-Powered-By: PHP/5.3.2-1ubuntu4.2
    Set-Cookie: PHPSESSID=ncvt6ckvaj5qlgp73v2tv7b486; path=/
    Expires: Thu, 19 Nov 1981 08:52:00 GMT
    Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
    Pragma: no-cache
    Vary: Accept-Encoding
    Content-Length: 1950
    Connection: close
    Content-Type: text/plain; charset=utf-8
    
    ---response end---
    
    смотрите скрипт или же косяк в .htaccess
     
  3. doter

    doter Постоялец

    Регистр.:
    1 мар 2010
    Сообщения:
    51
    Симпатии:
    2
    Скорее всего код ответа сервера не 200, а контент выдается текстовый с содержимым файла.
     
  4. spectailLL

    spectailLL Спасибо nulled !

    Регистр.:
    21 ноя 2008
    Сообщения:
    284
    Симпатии:
    187
  5. zerdek

    zerdek

    Регистр.:
    29 ноя 2007
    Сообщения:
    346
    Симпатии:
    50
    ага, уже поправили. теперь все ок.
    исходную ошибку я показал в своем посте выше.
     
Статус темы:
Закрыта.