Дорген. Советы. Критика

Тема в разделе "Генераторы дорвеев", создана пользователем Innocent77, 16 сен 2013.

  1. Innocent77

    Innocent77 Создатель

    Регистр.:
    20 дек 2009
    Сообщения:
    23
    Симпатии:
    6
    Всем добрых сумерек.
    Тут на форуме уже задавал кучу вопросов, спасибо за ответы.
    Набросал уже структуру доргена(на основе парсинга), +придумал пару фишек, но вот чувствую что чего-то не хватает.
    Господа скажите, что должно быть обязательно в доргене?
    Что выберете: sqlite с возможностью создавать темы как в вордпрессе( утрировано конечно, но с четким разделением header, footer, content и т.д. отложенная публикация) или статику(с многообразной структурой дора)? (возможно конечно реализовать разные структуры при бд, однако это уже получится просто cms под которую генерируют доры) . Или возможно связка cms+dorgen? По типу настроил доступы, настройки, нажал кнопку, получил на выходе сайт с админкой. По поводу бд, пока особых идей нет.
    А вот по статике. Нужна ли функция как в седе мать+дочь? Нужно ли разрастание? Что для вас приоритетнее:
    1) сгенерировал на локалке/впс, залил, забыл
    2) Закинул файлы доргена на хостинг, настроил в админке, генерация начинается после перехода на страницу, т.е. генерится на лету.
    3) Генерация по крону?
    4) мегабд, в которую все парсится, потом тянется несколькими дорами?
    5) ваши варианты?
    Архаизмы:
    1) Нужна ли мешалка текста, перенос предложений, марковка и т.п.?
    2) Синонимизация?
    3) Грабинг rss?

    Встроенная тдс? Скрипт "мозговой центр" со всей статисткой, настройками мб?
    Что вообще хотели бы видеть? Есть ли какие нибудь потребности в функциях, которых нет у др доргенов? Или есть личные требования?

    П.С. Пожалуйста не пишите: брось ты эту затею.
    чисто спортивный интерес, нравится процесс творения...
     
    Последнее редактирование: 16 сен 2013
  2. Nei

    Nei Nosce te ipsum

    Регистр.:
    5 сен 2009
    Сообщения:
    599
    Симпатии:
    469
    Откуда, собственно, уверенность, что созданные дорвеи будут прибыль приносить?
    Не рановато ли "приват", "по большой цене"? Самописный дорген - не гарантия качественного дора на выходе.
     
  3. Innocent77

    Innocent77 Создатель

    Регистр.:
    20 дек 2009
    Сообщения:
    23
    Симпатии:
    6
    Делал пару штучек, траф есть, живут отлично(для статистики ничтожно конечно). На данный момент реализация создания доров теоретически превосходит раз в 5 предыдущую. Естественно, что это теория, но я уверен на 75-90%, что выхлоп будет+автоматизация.
    На счет ценнообразования, да, что-то я загнул, рано конечно.
     
  4. CAPAXA

    CAPAXA

    Регистр.:
    7 июн 2007
    Сообщения:
    896
    Симпатии:
    535
    1) Дорвей должен быт мультидоменный, но с простым способом подключения домена.
    2) Сервер-терминал хорошая идея, но у она во первых используется не на полную мощность (например терминалы можно дополнительно задействовать в парсинге и т.д.), во вторых по сути они являются простыми прокси-серверами, поскольку полностью транслируют сайт с сервера, хотя по логике вещей это должен быть автономный сайт, но со связью с сервером. Ведь посудите зачем гонять все скрипты/картинки/html-код с одного сервера?
    3) Сбор статистики это палка о двух концах. С одной стороны все под "теоретическим" контролем, с другой достаточно мусорная нагрузка на сервер и БД. Можно сделать свой аналог ливера. Т.е. данные собираются только через javascript (отсекаем всех ботов), и пишем себе в БД.
     
    Innocent77 нравится это.
  5. Innocent77

    Innocent77 Создатель

    Регистр.:
    20 дек 2009
    Сообщения:
    23
    Симпатии:
    6
    САРАХА привет. Спасибо за комментарий.
    1) Имелось в виду поддомены?
    2) В том то и дело мне не очень нравится сервер-терминал, каждый дор должен быть автономным, но с др. стороны в легкую мог бы редактироваться/настраиваться с "центра". Но это опять же удаленные гет пост запросы.
    3) Пока не решил будет ли аля "сервер-терминал", поэтому сбор статистики как отдельный модуль планируется, с последующей интеграцией в "центр".
    П.С. У самого как успехи с дорописательством?
     
  6. CAPAXA

    CAPAXA

    Регистр.:
    7 июн 2007
    Сообщения:
    896
    Симпатии:
    535
    Нет имелось ввиду одна копия скрипта - туча доров.
    Пока пописываю. Дорген. :wassup:
     
  7. Цукер

    Цукер Сам себе призедент

    Moderator
    Регистр.:
    5 мар 2008
    Сообщения:
    393
    Симпатии:
    366
    Писал я дорген- правда забил не рентабельно если самому не штамповать их.
    Срауз тебе скажу по алгоритму маркова - он НЕ нужен.... это больше традиция пихать его везде нежели функционально.
    ТДС - хорошая тдска стоит дороже любого из доргенов на рынке. Так может стоит ТДС сделать а не дорген?
    RSS- грабинг хорошо, но сразу собирай базу нормальных каналов, потому как обычный гугл выдает тексты по 100-200 букав которые не кому не надо....
     
  8. Anton

    Anton ¯\_(ツ)_/¯

    Moderator
    Регистр.:
    28 авг 2007
    Сообщения:
    646
    Симпатии:
    637
    Твой дорген был десктоп...А это накладывает определенные ограничения)))


    Генерится на лету. Но быстрая, сначала собираем из чего генерировать. т.е. (мегабд, в которую все парсится, потом тянется несколькими дорами)
    Мультидоменность.

    Единая админка, с настройками по всем доменам в пачке.
    Расширенная статистика тоже нужна, статистика по ботам, по трафику.

    Придумать можно много чего.
    Самая большая проблема это контент. Чтоб дор не просто идексировался и давл траф, а жил в индексе долго (если про яндекс)