яндекс и гугл не видят robots.txt

Статус
В этой теме нельзя размещать новые ответы.

MaxLord

Профессор
Регистрация
17 Фев 2007
Сообщения
325
Реакции
49
Вопрос - godshop.ru/robots.txt из браузера виден.
Яндекс говорит что файл не найден,
Гугл говорит что сервер выдает ошибку 500
проверка через веб-прокси hideme.ru выдает 404

но с браузера напрямую у всех заходит!

В чем трабла и как решить? Я схожу с ума)

про технологию - robots.txt редиректится mod_rewrite-ом на php, который его генерит. Выдает чистый файл, помоему раньше это работало на ура. По такому же принципу работает sitemap.xml.

Помогите пожалуйста)
 
файл действительно дает 500 ошибку
проверить с командной строки можно так:
Код:
wget -d http://godshop.ru/robots.txt

ответ вашего сервера
Код:
---response begin---
HTTP/1.0 500 Internal Server Error
Date: Sun, 22 Aug 2010 20:48:55 GMT
Server: Apache/2.2.14 (Ubuntu)
X-Powered-By: PHP/5.3.2-1ubuntu4.2
Set-Cookie: PHPSESSID=ncvt6ckvaj5qlgp73v2tv7b486; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Vary: Accept-Encoding
Content-Length: 1950
Connection: close
Content-Type: text/plain; charset=utf-8

---response end---

смотрите скрипт или же косяк в .htaccess
 
Скорее всего код ответа сервера не 200, а контент выдается текстовый с содержимым файла.
 
ага, уже поправили. теперь все ок.
исходную ошибку я показал в своем посте выше.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху