Странный robot.txt

Тема в разделе "Вопросы новичков", создана пользователем Rastafan, 2 дек 2008.

Статус темы:
Закрыта.
  1. Rastafan

    Rastafan

    Регистр.:
    1 фев 2008
    Сообщения:
    649
    Симпатии:
    169
    Вот нашел на нескольких дорах такой роботс:


    Код:
    <!--<?xml version="1.0" encoding="windows-1251"?>-->
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml">
    <head>
    <title>рПЮФБ.ТХ - 404 дПЛХНЕОФ ОЕ ОБКДЕО / Document Not Found - ВЕУРМБФОБС РПЮФБ, ОЕПЗТБОЙЮЕООЩК СЭЙЛ, ВЕУРМБФОЩК ИПУФЙОЗ, БОФЙЧЙТХУ, БОФЙУРБН</title>
    <meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
    <meta http-equiv="refresh" content="60; url=/" />
    
    
    <link rel="stylesheet" href="/skins/_common/index.css" type="text/css" />
    <link rel="stylesheet" href="/skins/pochta_ru/index.css" type="text/css" />
    <link rel="stylesheet" href="/skins/_common/index_ie.css" type="text/css" /> 
    <link rel="stylesheet" href="/skins/pochta_ru/index_ie.css" type="text/css" /> 
    
    
    
    
    
    
    
    <!--{cssLinks}-->
    
    
    
    <script src="/js/common_js.js" language="javascript"></script>
    <script src="/js/banner.js" language="JavaScript"></script>
    
    
    <SCRIPT LANGUAGE="JavaScript">
    <!--
    window.onerror = getError;
    function getError(msg, url, lno) {
    var img=new Image;
    img.src='js_errors/1.gif?'+escape(msg)+','+escape(url)+','+escape(lno);
    return true;
    }
    //-->
    </SCRIPT>
    
    
    
    </head>
    
    <body onload="rewidth();" onresize="rewidth();" style="z-index: 0">
    
    <!-- //-->
    <!-- start _common.counters_all_code.tpl //-->
    <div class="stats_new_t">
    
    <!--cnt_rbc_notfound COUNTER-->
    <script language="javascript"><!--
    u="count.rbc.ru/p339.gif";d=document;nv=navigator;na=nv.appName;p=0;j="N";
    n=(na.substring(0,2)=="Mi")?0:1;y="";
    y+="<img src='http://"+u+"?r="+d.referrer+"&rf="+parent.document.referrer+"&rn="+Math.random();
    y+="' border=0 width=1 height=1>";
    d.write(y);
    //-->
    </script>
    <noscript>
    <img src="http://count.rbc.ru/p339.gif" border='0' width='1' height='1' >
    </noscript>
    
    </div>
    
    <div id="all_page">
    <img src="/skins/_common/img/1x1.gif" width="963" height="1" border="0"><br />
    
    
    
    <!-- start _common.menu //-->
    <div class="meny" style="white-space: nowrap">
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.pogoda.rbc.ru" target="_blank"><img src="/skins/pochta_ru/img/links/weather.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.pogoda.rbc.ru" target="_blank">РПЗПДБ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.delit.net" target="_blank"><img src="/skins/pochta_ru/img/links/mp3.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.delit.net" target="_blank">НХЪЩЛБ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.kards.ru" target="_blank"><img src="/skins/pochta_ru/img/links/cards.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.kards.ru" target="_blank">ПФЛТЩФЛЙ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.blogonline.ru" target="_blank"><img src="/skins/pochta_ru/img/links/blogs.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.blogonline.ru" target="_blank">ВМПЗЙ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.photofile.ru" target="_blank"><img src="/skins/pochta_ru/img/links/photos.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.photofile.ru" target="_blank">ЖПФП</a> |
    <a href="http://www.loveplanet.ru" target="_blank"><img src="/skins/pochta_ru/img/links/dateing.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://www.loveplanet.ru" target="_blank">ЪОБЛПНУФЧБ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://relax.ru/restaurants/" target="_blank"><img src="/skins/pochta_ru/img/links/restaurants.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://relax.ru/restaurant/" target="_blank">ТЕУФПТБОЩ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.5ballov.ru/referats/" target="_blank"><img src="/skins/pochta_ru/img/links/5ballov.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.5ballov.ru/referats/" target="_blank">ТЕЖЕТБФЩ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.anekdot.ru" target="_blank"><img src="/skins/pochta_ru/img/links/jokes.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.anekdot.ru" target="_blank">бОЕЛДПФЩ</a> |
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.mos2.ru" target="_blank"><img src="/skins/pochta_ru/img/links/mosdva.gif" alt="" border="0" align="absmiddle"></a>
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://www.mos2.ru" target="_blank">ЛБТФБ нПУЛЧЩ</a>
    
    
    </div>
    <!-- end _common.menu //-->
    
    <!-- start _common.header_unauth //-->
    
    <div class="header">
    <div class="logo"><a href="/"><img src="/skins/pochta_ru/img/logo.gif" border="0" hspace="5" alt="рПЮФБ.ТХ"></a></div>
    <div class="hilfs_meny" style="width:230px; padding-right:5px">
    
    <div class="fl" style="float:left">
    <a href="#" onClick="this.style.behavior='url(#default#homepage)';this.setHomePage(top.location.protocol + '//' + top.location.host);">уДЕМБФШ УФБТФПЧПК</a>
    <a href="/help.php?lng=ru&skin=pochta_ru" target="_blank">рПНПЭШ</a>
    <a href="?lng=en">English</a>
    </div>
    </div>
    </div><!-- class header //-->
    <!-- end _common.header_unauth //-->
    <!-- start _common.header_unauth //-->
    
    
    <div class="advert">
    
    
    
    <div class="loveplanet" id="love4">
    <a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://loveplanet.pochta.ru" target="_blank"><h1>ъОБЛПНУФЧБ Й ПВЭЕОЙЕ</h1></a>
    
    <div class="loveplanet_content">
    <form action="http://loveplanet.pochta.ru" method="get" id="search" target="_blank">
    <INPUT type="hidden" name="a" value="search"> 
    <INPUT type="hidden" name="p" value="0">
    <INPUT type="hidden" name="d" value="1">
    <INPUT type="hidden" name="affiliate_id" value="11053"> 
    <input type="hidden" name="search_type" value="All">
    <div>с
    <select name="pol" class="who">
    <OPTION value="1" selected>рБТЕОШ</OPTION>
    <OPTION value="2">дЕЧХЫЛБ</OPTION>
    </select> 
    &nbsp;&nbsp;йЭХ
    <select name="spol" class="who">
    <OPTION value="2">дЕЧХЫЛХ</OPTION>
    <OPTION value="1">рБТОС</OPTION>
    </select> 
    </div>
    <div>
    <span class="loveplanet_age">ПФ<input name="bage" type="text" size="3" maxlength="2" value="19">ДП<input name="tage" type="text" size="3" maxlength="2" value="27">МЕФ</span>
    зПТПД
    <select name="geo" id="search_city_name">
    <option value="0" selected></option>
    <option value="3159_4312_4400">нПУЛЧБ</option>
    <option value="3159_4925_4962">уБОЛФ-рЕФЕТВХТЗ</option>
    <option value="3159_4734_4741">чМБДЙЧПУФПЛ</option>
    <option value="3159_5080_5106">еЛБФЕТЙОВХТЗ</option>
    <option value="3159_3703_3731">йТЛХФУЛ</option>
    <option value="3159_5246_5269">лБЪБОШ</option>
    <option value="3159_4052_4079">лТБУОПДБТ</option>
    <option value="3159_4105_4149">лТБУОПСТУЛ</option>
    <option value="3159_3563_3612">оЙЦОЙК оПЧЗПТПД</option>
    <option value="3159_4528_4549">оПЧПУЙВЙТУЛ</option>
    <option value="3159_4800_4848">тПУФПЧ-ОБ-дПОХ</option>
    <option value="3159_4891_4917">уБНБТБ</option>
    <option value="3159_5507_5539">юЕМСВЙОУЛ</option>
    </select>
    </div>
    <div class="button_box">
    <INPUT type="submit" value="йУЛБФШ" id="loveplanet_button">
    </div>
    </form>
    </div>
    </div>
    
    
    
    <!-- end _common.dateing //-->
    
    
    
    <script charset="UTF-8" src="http://photofile.ru/static/anounce-vt-js-2.utf8.js"></script>
    
    <script src="http://photofile.ru/static/anounce-vt-js-3.utf8.js" language="javascript" charset="utf-8"></script>
    </div>
    
    <div class="error">
    пЫЙВЛБ 404. дПЛХНЕОФ ОЕ ОБКДЕО.
    <br />Error 404. Document Not Found.
    <br/>ъБРТБЫЙЧБЕНЩК ДПЛХНЕОФ ПФУХФУФЧХЕФ ОБ УЕТЧЕТЕ.
    </div>
    
    <div class="registr_and_about">
    <!-- start _common.login_form //-->
    <table cellspacing="0" id="regisration" border="0">
    <tr>
    <td class="ugolokReg_left_top ugolokReg"></td>
    
    <td rowspan="2">
    <form method="POST" action="/login.php" class="registr" id='loginForm'>
    <input type="hidden" name="reason" value="login">
    <input type="hidden" name="lng" value="">
    <input type="hidden" name="rnd" value="">
    <input type="hidden" name="back" value="">
    <table cellpadding="0" cellspacing="0" align="center">
    <tr>
    <td width="120">йНС:</td>
    <td width="30"></td>
    <td width="120">дПНЕО:</td>
    </tr>
    <tr>
    
    <tr>
    <td class="name_input"><input tabindex=1 type="Text" name="user" class="name_enter" maxlength="32" value="" onchange="form.elements['pass'].value=''">
    </td>
    <td class="symbol">@</td>
    <td>
    <!-- start _common.domain_list_select //-->
    <select name="domain" tabindex=2 onchange="var p=form.elements['pass']; if(p.ch==null) p.value=''">
    <option label="pochta.ru" value="pochta.ru">pochta.ru</option>
    <option label="fromru.com" value="fromru.com">fromru.com</option>
    <option label="front.ru" value="front.ru">front.ru</option>
    <option label="hotbox.ru" value="hotbox.ru">hotbox.ru</option>
    <option label="krovatka.su" value="krovatka.su">krovatka.su</option>
    <option label="land.ru" value="land.ru">land.ru</option>
    <option label="mail15.com" value="mail15.com">mail15.com</option>
    <option label="mail333.com" value="mail333.com">mail333.com</option>
    <option label="pisem.net" value="pisem.net">pisem.net</option>
    <option label="pochtamt.ru" value="pochtamt.ru">pochtamt.ru</option>
    <option label="pop3.ru" value="pop3.ru">pop3.ru</option>
    <option label="rbcmail.ru" value="rbcmail.ru">rbcmail.ru</option>
    <option label="smtp.ru" value="smtp.ru">smtp.ru</option>
    
    </select>
    <!-- end _common.domain_list_select //-->
    
    </td>
    </tr>
    
    <tr>
    <td colspan="3" height="10"></td>
    </tr>
    <tr>
    <td class="password">рБТПМШ:</td>
    <td></td>
    <td class="remember" nowrap>&nbsp;</td>
    </tr>
    <tr>
    <td class="forget_pass">
    <input type="password" name="pass" tabindex=3 class="input_password" maxlength="45" value="" style="width: 120px"><br>
    <a href="/forgot.php" id="link_forget_pass" tabindex=6><font style="font-weight:normal;">ЪБВЩМЙ РБТПМШ?</font></a>
    </td>
    <td></td>
    <td valign="top"><input id="chkLongSess" type="checkbox" name="long_session" value="1" tabindex=7 style="width:auto">&nbsp;<label for="chkLongSess" style="padding-right:10px; white-space: normal; font-weight:normal; color:#000">ЪБРПНОЙФШ</label></td>
    </tr>
    
    <tr>
    <td class="text_registr">
    <a href="/regform.php" tabindex=7 class="reg_link">ТЕЗЙУФТБГЙС</a>
    </td>
    <!--ъБЭЙЭЕООЩК ТЕЦЙН:&nbsp;<a href="https://" class="link_text_registr">ЧЛМ</a>
    -->
    <td></td>
    <td class="enter">
    <input id="button_enter" type="submit" value="ЧИПД" class="button" tabindex=4></td>
    </tr>
    </table>
    </form>
    
    </td>
    
    <td class="ugolokReg_right_top ugolokReg"></td>
    
    </tr>
    
    <tr>
    
    <td class="ugolokReg_left_bottom ugolokReg"></td>
    <td class="ugolokReg_right_bottom ugolokReg"></td>
    
    </tr>
    
    </table>
    
    
    <!-- end _common.login_form //-->
    
    <div class="box">
    <div class="innerbox">
    <h1 class="lefthead">
    <a href="http://www.blogonline.ru/community/pochta/" target="_blank">оПЧПУФЙ УЕТЧЙУБ рПЮФБ.ТХ</a></h1>
    <div class="content">
    <ul>
    <li><b>08.11.07</b> <a href="http://pochta.blogonline.ru/13083.html" target="_blank">тБЪДЕМ &quot;йЗТЩ&quot; ОБ рПЮФБ.ru </a></li>
    <li><b>10.10.07</b> <a href="http://pochta.blogonline.ru/13013.html" target="_blank">оПЧЩК ЙОФЕТЖЕКУ УРЙУЛБ РЙУЕН</a></li>
    <li><b>01.10.07</b> <a href="http://pochta.blogonline.ru/12667.html" target="_blank">тБЪДЕМ &quot;НПЈ ЧЙДЕП&quot; ОБ рПЮФБ.ru</a></li>
    </ul>
    <div class="all"><a href="http://www.blogonline.ru/community/pochta/">ЧУЕ ОПЧПУФЙ&nbsp;&gt;&gt;&gt;</a></div>
    </div>
    </div>
    </div> 
    
    
    
    </div>
    
    <div class="news">
    <ul style="padding-bottom:8px"></ul>
    <h1><a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://rbc.ru" target="_blank">зМБЧОЩЕ ОПЧПУФЙ</a></h1>
    
    <table cellpadding="0" cellspacing="0" border="0" class="top">
    <tr>
    <td>
    <a href="http://top.rbc.ru/economics/11/11/2007/125438.shtml" target="_blank">
    <img src="http://pics.top.rbc.ru/top_pics/uniora/53/1194768879_0253.250x200.jpeg" width="84" alt="" border="0">
    <b>нБМБКЪЙС ВХДЕФ ЧЩРХУЛБФШ "ЙУМБНУЛЙК БЧФПНПВЙМШ"</b></a>
    <a href="http://top.rbc.ru/economics/11/11/2007/125438.shtml" style="font-weight: normal;" target="_blank">нБМБКЪЙКУЛЙК РТПЙЪЧПДЙФЕМШ БЧФПНПВЙМЕК Proton ОБНЕТЕО Ч УЛПТПЕ ЧТЕНС ОБЮБФШ...</a>
    </td>
    </tr>
    </table>
    
    
    
    <ul> 
    
    <li><a href="http://top.rbc.ru/incidents/11/11/2007/125435.shtml" target="_blank">ч лЕТЮЕОУЛПН РТПМЙЧЕ ОБДЧПЕ ТБЪМПНЙМУС ТПУУЙКУЛЙК ФБОЛЕТ</a></li>
    
    <li><a href="http://top.rbc.ru/society/11/11/2007/125436.shtml" target="_blank">ч.рХФЙО РПДРЙУБМ ЪБЛПО ПВ БЧФПНПВЙМШОЩИ ДПТПЗБИ</a></li>
    
    <li><a href="http://top.rbc.ru/society/11/11/2007/125437.shtml" target="_blank">рПВЕДЙФЕМЕК НЕЦДХОБТПДОЩИ ЖЕУФЙЧБМЕК ОЕ ДПРХУФЙМЙ Л &quot;пУЛБТХ&quot;</a></li>
    
    <li><a href="http://top.rbc.ru/society/11/11/2007/125422.shtml" target="_blank">ч бЪЕТВБКДЦБОЕ РТЕДПФЧТБЭЕО ФЕТБЛФ РТПФЙЧ ЙОПУФТБОГЕЧ</a></li>
    </ul>
    
    <h1><a href="http://redir.rbc.ru/cgi-bin/redirect.cgi?http://top.rbc.ru/index.shtml?/include/dynamic/funs/center.shtml" target="_blank">вЕЪХНОЩК НЙТ</a></h1>
    <ul> 
    <li>
    <a href="http://top.rbc.ru/wildworld/09/11/2007/125331.shtml" target="_blank">ыЧЕДЛБ ОБЫМБ Ч УЧПЕН ЫЛБЖХ ЧБЪХ УФПЙНПУФША $ 5,87 НМО </a>
    </li>
    <li>
    <a href="http://top.rbc.ru/wildworld/09/11/2007/125321.shtml" target="_blank">сРПОУЛБС ЛПРЙМЛБ-ВПНВБ ЪБУФБЧМСЕФ ХЧЕМЙЮЙЧБФШ УВЕТЕЦЕОЙС</a>
    </li>
    <li>
    <a href="http://top.rbc.ru/wildworld/09/11/2007/125316.shtml" target="_blank">оПЧЩЕ ТЕЛПТДЩ РПУФБЧМЕОЩ Ч дЕОШ НЙТПЧЩИ ТЕЛПТДПЧ зЙООЕУУБ</a>
    </li>
    <li>
    <a href="http://style.rbc.ru/events/2007/11/09/39532.shtml" target="_blank">нПУЛПЧУЛЙК ХЙЛ-ЬОД: лПОЛХТУ &quot;тХУУЛЙК УЙМХЬФ&quot;, РТЙЕЪД жТЕДЕТЙЛБ вЕЗВЕДЕТБ Й Cranberries</a>
    </li>
    </ul>
    </div>
    
    
    <!-- start footer //-->
    <div class="hilfs_meny_s">
    
    <a href="/vacancy.php?lng=ru&skin=pochta_ru" target="_blank">чБЛБОУЙЙ</a>
    
    <a href="/advertising.php?lng=ru&skin=pochta_ru" target="_blank">тЕЛМБНБ ОБ рПЮФБ.тХ</a>
    <a href="/support/faq.php?lng=ru&skin=pochta_ru" target="_blank">рПНПЭШ</a>
    
    <a href="/support/?lng=ru&skin=pochta_ru" target="_blank">рПДДЕТЦЛБ</a>
    <a href="?lng=en">English</a>
    
    </div>
    <div class="footer">
    рТБЧБ ЪБЭЙЭЕОЩ &copy; <a href="/?lng=ru" target="_blank">рПЮФБ.ТХ</a> 
    &nbsp;|&nbsp;<a href="/support/?lng=ru&skin=pochta_ru" target="_blank">рПДДЕТЦЛБ</a>
    
    
    <!--Rating@Mail.ru COUNTEr--><script language="JavaScript" type="text/javascript"><!--
    d=document;var a='';a+=';r='+escape(d.referrer)
    js=10//--></script><script language="JavaScript1.1" type="text/javascript"><!--
    a+=';j='+navigator.javaEnabled()
    js=11//--></script><script language="JavaScript1.2" type="text/javascript"><!--
    s=screen;a+=';s='+s.width+'*'+s.height
    a+=';d='+(s.colorDepth?s.colorDepth:s.pixelDepth)
    js=12//--></script><script language="JavaScript1.3" type="text/javascript"><!--
    js=13//--></script><script language="JavaScript" type="text/javascript"><!--
    d.write('<a href="http://top.mail.ru/jump?from=1158257"'+
    ' target=_top><img src="http://dc.ca.b1.a1.top.list.ru/counter'+
    '?id=1158257;t=77;js='+js+a+';rand='+Math.random()+
    '" alt="тЕКФЙОЗ@Mail.ru"'+' border=0 height=31 width=38/><\/a>')
    if(11<js)d.write('<'+'!-- ')//--></script><noscript><a
    target=_top href="http://top.mail.ru/jump?from=1158257"><img
    src="http://dc.ca.b1.a1.top.list.ru/counter?js=na;id=1158257;t=77"
    border=0 height=31 width=38
    alt="тЕКФЙОЗ@Mail.ru"/></a></noscript><script language="JavaScript" type="text/javascript"><!--
    if(11<js)d.write('--'+'>')//--></script><!--/COUNTER-->
    
    
    
    </div>
    <!-- end footer //-->
    </div>
    
    
    <script language="javascript">
    var t_rn = Math.random();
    var t_ref = encodeURIComponent(document.referrer);
    var t_pg = encodeURIComponent(window.location.href);
    var t_req = 'r='+t_ref+'&pg='+t_pg+'&'+t_rn;
    document.write("<img src=\"http://t.pusk.ru/?"+t_req+"\" border=\"0\" width=\"1\" height=\"1\">");
    </script>
    
    
    
    
    <script language="JavaScript">
    <!--
    var random = Math.floor(Math.random() * 1000000000);
    document.write('<scr' + 'ipt language="JavaScript" src="http://engine.adland.ru/code?pid=121&gid=117&oin=0&rid=' + random +'"></scr' + 'ipt>');
    // -->
    </script>
    
    </body></html>
    [/QUOTE]


    Что это - мега кривые руки иль новая "тема"? :D
     
  2. pslava

    pslava

    Регистр.:
    16 май 2007
    Сообщения:
    618
    Симпатии:
    122
    Это скорее всего кто-то ошибся с названием файла, для роботса есть стандартный набор правил что там должно быть
     
  3. dregore

    dregore Создатель

    Регистр.:
    13 ноя 2008
    Сообщения:
    11
    Симпатии:
    0
    Или, как видно из текста, скорее всего robots.txt нет на хостинге. А в правилах сервера прописано выдавать на найденный документ нативный файл 404 ошибки. Вот собственно он и выдался.
     
  4. s2s

    s2s

    Регистр.:
    27 июл 2007
    Сообщения:
    245
    Симпатии:
    103
    Ерунда, есть стандартный набор правил robots.txt и это бот посчитает как ошибку в файле роботс. Видимо просто ошибка дорвейщика...или новая тема )));)
     
  5. SolutionFix

    SolutionFix 17 лет програмлю ;)

    Регистр.:
    20 ноя 2006
    Сообщения:
    272
    Симпатии:
    318
    Блин, та 404 страница просто выдается. Скопируй ее в блокнотик, сохрани с расширением html и посмотри браузером :)
     
Статус темы:
Закрыта.