запрет для паука через htaccess

Тема в разделе "Mod Rewrite / htaccess / ЧПУ", создана пользователем di55, 9 янв 2009.

Статус темы:
Закрыта.
  1. di55

    di55 Создатель

    Регистр.:
    1 янв 2009
    Сообщения:
    10
    Симпатии:
    0
    Люди добрые помгите советом. Как в htaccess прописать файлы которые поисковый паук не должен просматривать? Т.е. поставить запрет для поисковика на определенные страницы
     
  2. B1rdEX

    B1rdEX Постоялец

    Регистр.:
    30 июн 2008
    Сообщения:
    141
    Симпатии:
    26
    Клоакинг? оО :-D

    чем тебе robots.txt не угодил? Как раз то, что тебе нужно.
     
  3. Dimaker

    Dimaker

    Регистр.:
    7 фев 2007
    Сообщения:
    205
    Симпатии:
    11
    robots.txt банально проверяют при добавлениии сайта в каталоги, хочется с жулиничать
     
  4. zerdek

    zerdek

    Регистр.:
    29 ноя 2007
    Сообщения:
    346
    Симпатии:
    50
    ну можешь отдавать разный robots.txt поисковикам и каталогам.
     
  5. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    robots.txt - абсолютно ненадежно

    посылаем **х всех серферов с юзер-агентом, содержащим подстроки yandex и google
     
  6. Vetaln

    Vetaln

    Регистр.:
    8 фев 2007
    Сообщения:
    151
    Симпатии:
    53
    Чтобы отсеять ботов
    http://www.vbest.name/?p=25
    Вот еще
    http://www.wmaster.ru/htaccess/index.htm
    https://forum.zloy.org/showthread.php?t=68350
     
    dotsenko и Dimaker нравится это.
  7. Dimaker

    Dimaker

    Регистр.:
    7 фев 2007
    Сообщения:
    205
    Симпатии:
    11


    Делается это при помощи файла .htaccess в корне домена.
    Если у Вас на хостинге этого файла ещё нет - его можно создать. Для этого в блокноте создаём файл с именем htaccess.txt, заливаем его по FTP на хостинг и переименовываем уже на хостинге в .htaccess.
    Если файл .htaccess на хостинге уже существует, просто дописываем в него вот такие строчки:

    SetEnvIfNoCase User-Agent “^Yandex” search_bot

    SetEnvIfNoCase User-Agent “^Yahoo” search_bot

    SetEnvIfNoCase User-Agent “^igdeSpyder” search_bot

    SetEnvIfNoCase User-Agent “^Robot” search_bot

    SetEnvIfNoCase User-Agent “^Googlebot” search_bot

    SetEnvIfNoCase User-Agent “^msnbot” search_bot

    SetEnvIfNoCase User-Agent “^Aport” search_bot

    SetEnvIfNoCase User-Agent “^Mail” search_bot

    SetEnvIfNoCase User-Agent “^bot” search_bot

    SetEnvIfNoCase User-Agent “^spider” search_bot

    SetEnvIfNoCase User-Agent “^php” search_bot

    SetEnvIfNoCase User-Agent “^Parser” search_bot

    SetEnvIfNoCase User-Agent “^WordPress” search_bot

    SetEnvIfNoCase User-Agent “^Snapbot” search_bot

    SetEnvIfNoCase User-Agent “^BlogPulseLive” search_bot

    Order Allow,Deny

    Allow from all

    Deny from env=search_bot
    Всё. Теперь все боты будут отсекаться и не будут портить нашу статистику.
    2 вариант
    RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|spider|Twiceler|heritrix|
    Combine|appie|boitho|e-SocietyRobot|Exabot|Nutch|OmniExplorer|
    MJ12bot|ZyBorg/1|Ask\ Jeeves|AskJeeves|ActiveTouristBot|
    JemmaTheTourist| agadine3|BecomeBot|Clustered-Search-Bot|
    MSIECrawler|freefind|galaxy|genieknows|INGRID|grub-client|
    MojeekBot|NaverBot|NetNose-Crawler|OnetSzukaj|PrassoSunner|
    Asterias\ Crawler|T-H-U-N-D-E-R-S-T-O-N-E|GeorgeTheTouristBot|
    VoilaBot|Vagabondo|fantomBro wser|stealthBrowser|cloakBrowser|
    fantomCrew\ Browser|Girafabot|Indy\ Library|Intelliseek|Zealbot|
    Windows\ 95|^Mozilla/4\.05\ \[en\]$|^Mozilla/4\.0$) [NC]
    RewriteRule ^(.*)$ - [F]
    #
    RewriteCond %{HTTP_USER_AGENT} ^Mozilla.* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Opera.* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Firefox.* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Netscape.* [NC]
    RewriteRule ^(.*)$ - [L]
    RewriteRule ^(.*)$ - [F]
     
  8. Dimaker

    Dimaker

    Регистр.:
    7 фев 2007
    Сообщения:
    205
    Симпатии:
    11
    а как запретить определеный файл к индексированию через htaccess
     
  9. Vetaln

    Vetaln

    Регистр.:
    8 фев 2007
    Сообщения:
    151
    Симпатии:
    53
    Запрет на конкретный файл:
    Можно поставить запрет на конкретный файл по его названию и расширению.
    <Files config.inc.php>
    order allow,deny
    deny from all
    </Files>

    В данном примере стоит запрет на обращения к файлу config.inc.php.
     
  10. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    Это запрет любого обращения к файлу, запрет индексирования делается через роботс.тхт или так:

    <Files config.inc.php>
    RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
    RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
    ...
    RewriteRule ^(.*)$ - [F]
    </Files>
     
Статус темы:
Закрыта.