404 (Не найдено) google bot - как решить?

Тема в разделе "Зарубежные поисковики", создана пользователем forest_82, 27 ноя 2010.

Статус темы:
Закрыта.
  1. forest_82

    forest_82 Создатель

    Регистр.:
    24 окт 2010
    Сообщения:
    22
    Симпатии:
    4
    Доброго всем дня.
    Добавил в гугл интернет магазин на движке ShopOS
    http://www.car.autocomplete.com.ua
    В ссылках использую ЧПУ, но тут проблема выскочила, тупо не видит гугл страницы. Ошибку 404 выдает. Страницы все рабочие, наверное нужно настроить правильно .htaccess. Кто-нибудь подскажет как победить эту проблемку?
    В приложении выложил список страниц, на которые идет ошибка 404, файл .htacces, robots.txt Заранее благодарен за совет.

    Просмотрел страницу как google bot выдало следующее..

    Тип робота Googlebot: Веб

    HTTP/1.1 404 Not Found
    Server: nginx
    Date: Sat, 27 Nov 2010 12:56:05 GMT
    Content-Type: text/html; charset=utf-8
    Transfer-Encoding: chunked
    Connection: keep-alive
    X-Powered-By: PHP/5.2.14
    Set-Cookie: cookie_test=please_accept_for_session; expires=Mon, 27-Dec-2010 12:56:04 GMT; path=/; domain=www.car.autocomplete.com.ua
    Content-Encoding: gzip

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru">
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    ...
    дальше штмл код моей страницы
     

    Вложения:

  2. ask0n

    ask0n

    Регистр.:
    9 июн 2009
    Сообщения:
    227
    Симпатии:
    63
    Посмотрел и не как google bot выдало:
    HTTP/1.1 404 Not Found
    Server: nginx
    Date: Sat, 27 Nov 2010 21:01:35 GMT
    Content-Type: text/html; charset=utf-8
    Connection: close
    X-Powered-By: PHP/5.2.14
    Set-Cookie: cookie_test=please_accept_for_session; expires=Mon, 27-Dec-2010 21:01:35 GMT; path=/; domain=www.car.autocomplete.com.ua
    Страницы не рабочие, вместо 404й ошибки выдается реврайт, а указанной страницы не найдено. Попробуйте напрямую без nginx'а запросить страницу.
    Но в правилах Rewrite у вас полная каша, про robots.txt просто без комментариев.
     
  3. forest_82

    forest_82 Создатель

    Регистр.:
    24 окт 2010
    Сообщения:
    22
    Симпатии:
    4
    Это стандартный .htaccess, который при инсталяции стал.. (( Может трабла в том, что там не прописано для nginx?? Сорри, что может ламерские вопросы задаю, настройки сервера и .htaccess моя слабость..
     
  4. ask0n

    ask0n

    Регистр.:
    9 июн 2009
    Сообщения:
    227
    Симпатии:
    63
    Как-то на стандартный не очень похож, особенно ввиду задвоения этих строк:
    Код:
    RewriteRule ^.*\.gif|\.jpg|\.png|\.css|\.js$ - [L]
    RewriteRule ^.*\.gif|\.jpg|\.png|\.css|\.php|\.js$ - [L]
    
    В nginx можно попробовать включить proxy_intercept_errors, тогда он будет отдавать 404е ошибки сам, получая такой код от бэкенда, сразу станет понятно может ваш скрипт и работает на 404х ошибках.
    Реврайт для nginx делается так:
    Код:
    if (!-e $request_filename) {
    rewrite  ^/folder/(\w+)/[\.-\w]+\.html$ /other_folder/script.php?in=$1 last;
    }
    Часть запроса, которую нужно передать из запроса клиента бэкенду, берется в скобки, а затем доступна по параметрам $1, $2 и т.п.
    В примере реврайт будет работать так:
    /folder/test/asdasdas.html будет перезаписанно на /other_folder/script.php?in=test при этом перезапись произойдет только если значение в каталоге test удовлетворяет регэкспу \w+, для чисел можно использовать регэксп \d+ и т.п.
    Вобщем сначала нужно понять что именно вы собираетесь реврайтить, т.е. дайте выкладку что реально должен обрабатывать бэкенд и какие запросы вы хотите, чтоб к нему слали клиенты.
    Ну и конфиг nginx'а для полноты картины тоже не помешал бы.
     
    forest_82 нравится это.
Статус темы:
Закрыта.