[Тулза] Генератор robots.txt

Тема в разделе "Wordpress", создана пользователем Бобр Добр, 31 янв 2010.

Статус темы:
Закрыта.
Модераторы: Sorcus
  1. Бобр Добр

    Бобр Добр

    Регистр.:
    17 янв 2010
    Сообщения:
    242
    Симпатии:
    37
    Привет всем вот написал маленький скрипт который на автомате создаёт robots.txt. Может кому то будет полезен)

    PHP:
    <?php
    $string 
    'User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Host: www.{domen}

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments

    Sitemap: http://{domen}/sitemap.xml'
    ;

    $string=str_replace('{domen}',$_SERVER['HTTP_HOST'],$string);
    $fp fopen('robots.txt''w');

    fwrite($fp$string);
    fclose($fp);

    ?>
     
    aquatory нравится это.
  2. aquatory

    aquatory Создатель

    Регистр.:
    29 апр 2010
    Сообщения:
    15
    Симпатии:
    0
    ну наконец-то, хоть кто-то решился автоматизировать задачу создания robots.txt (без плагинов), скрипт работает, файл прописывается... Возник тут же вопрос, возможно ли создание robots.txt с удаленного сервера одновременно на разных своих блогах?
     
  3. Kores

    Kores Создатель

    Регистр.:
    11 янв 2009
    Сообщения:
    32
    Симпатии:
    3
  4. Бобр Добр

    Бобр Добр

    Регистр.:
    17 янв 2010
    Сообщения:
    242
    Симпатии:
    37
    Ну тогда нужно через ftp заливать по другому не как... если очень нужно напишите в личку.
    ПС. не нужно писать сообщение типа спасибо есть же кнопка для этих целий.
     
  5. aquatory

    aquatory Создатель

    Регистр.:
    29 апр 2010
    Сообщения:
    15
    Симпатии:
    0
    Hi,Bobr Dobr. Вопрос об ftp даже не обсуждаеца, сайтов сотни (много сотен) и их редактирование займет массу времени, поэтому и возник предыдущий вопрос на будущее. Фраза: "если очень нужно..." неоднозначная, у тя есть варианты (задумки) или нет?
     
  6. drawing4

    drawing4

    Регистр.:
    21 ноя 2008
    Сообщения:
    323
    Симпатии:
    37
    Простите мою неграмотность. А зачем его менять даже если сотни сайтов. Сделал сайт, сделал роботс и все. Когда правишь сайт тогда и роботс можно поправить если нужно. Я чего-то не могу понять актуальности задачи
     
  7. aquatory

    aquatory Создатель

    Регистр.:
    29 апр 2010
    Сообщения:
    15
    Симпатии:
    0
    скрипт от BobrDobr берет данные внутри скрипта и прописывает их в rodots.txt, У мня сайты сделаны давно (по несколько лет) с предустановленым плагином, который где-то там в мета-тегах прописывал настройки роботс (которые я не вижу), поэтоиу не было самого robots.txt... Я же хочу подкачивать эти данные с удаленного сервера (вот и фсе), инет на месте не стоит и завтра появяться новые правила, боты, алгоритмы и т.д. Отредактировав один файл блабла.txt с данными, одновременно поменяется картина на фсех сайтах. Так думаю понятно?
    Ребята помогите найти скрипт подкачки и кэширования данных без исп.DB, не знаю в какой категории развить эту тему:thenks:
     
  8. Plazik

    Plazik Создатель

    Регистр.:
    25 июн 2008
    Сообщения:
    10
    Симпатии:
    1
    А смысл этого скрипта? rodots.txt создает один раз и про него можно забыть, а этот скрипт будет постоянно делать нагрузку на сервак.
     
  9. wertyuiop

    wertyuiop Создатель

    Регистр.:
    13 май 2010
    Сообщения:
    12
    Симпатии:
    5
    Хороший скриптик!:yahoo: Зачет!
     
  10. eltouristo

    eltouristo Писатель

    Регистр.:
    2 мар 2010
    Сообщения:
    5
    Симпатии:
    1
    Спасибо, попробую у себя обязательно :D
     
Статус темы:
Закрыта.