о контенте и его чистке

Тема в разделе "Вопросы новичков", создана пользователем sexyboy, 28 окт 2009.

Статус темы:
Закрыта.
  1. sexyboy

    sexyboy Постоялец

    Регистр.:
    9 июн 2008
    Сообщения:
    90
    Симпатии:
    57
    В меня есть много контента спарсеного с секс-рассказов(парсер Текстмейкер), немного посмотрев текстовку увидел там много "запрещенных" рассказов(подростки,инцест,зоо и другое),что с ними делать и как их чистить(есть база запрещенных слов, но я уверен на 100% что в текстовке еще найдется много запрещенных слов) можно ли такой контент юзать для доров, редбаттон его и так перемешает до неузнаваемости, но вот если какоето слово(допустим "инцест" или другое) будет в тексте стоять вместе с кеями(вероятность не большая не все же существует, тем более если в тексте много запрещенных слов), и ПС бот проиндексирует уже не так как нужно и уже будет ити не тот траф(а ето плохо), и вот сам вопрос нужно ли заморачиватся с етой чисткой текста?
     
  2. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    Нет, не нужно очищать контент. Потому что кейворды перебьют содержание текста, да и вообще это миф про влияние тематического исходного контента для доров на отношение к нему ПС.
     
  3. lolpw

    lolpw Постоялец

    Регистр.:
    16 апр 2008
    Сообщения:
    51
    Симпатии:
    2
    сделай массовую замену самых частых "запрещенных слов" и при перемешке с ключевиками норм будет
     
  4. alex-bot

    alex-bot Nulled-Man

    Регистр.:
    4 май 2007
    Сообщения:
    497
    Симпатии:
    144
    Ты бы не о словах парился, а о куче ошибок в тех текстах... Ну, а если уж так напрягает, то можно почистить текст на стоп слова, займет 1-2 минуты...
    TextPipe + StopList = Прочистка
     
  5. IgVan

    IgVan

    Регистр.:
    8 май 2008
    Сообщения:
    212
    Симпатии:
    54
    От основного мусора почистить, если что-то останется, не заморачивайся, ну уйдет у тебя некоторое кол-во кликов в "Blocked Words", главное чтоб остальное траф приносило. :)
     
  6. arch14

    arch14

    Регистр.:
    7 июн 2009
    Сообщения:
    373
    Симпатии:
    186
    вот представь, что ты взял идеально чистый текст с эротическими рассказами. И есть там, допустим, такие строки "Мы познакомились с ней когда она гуляла по парку со своей любимой собакой..." и дальше по тексту в сторону постельных сцен. Где гарантия, что после генерации у тебя не получится "....по парку групповой секс со своей любимой собакой.." :)))
    Тоже будешь чистить такие рассказы?
     
  7. Juror

    Juror Постоялец

    Регистр.:
    3 сен 2009
    Сообщения:
    76
    Симпатии:
    35
    Само собой, если слово собака/инцест/зоо/.../ в тексте встретится 1..2 раза - дору от этого не поплохеет. А вот если текст сугубо на "стоп"-тему, то без угрызения совести можна чистить под "0". ВСЕ зависит от того откуда парсим.

    ЗЫ. Не вижу ничего зазорного, чтоб почистить и такие тексты (если парсено "с миру по нитке"). Или боишся, что если удалить все стоп слова то текст станет нечитабельным??? Так он(текст) после перетасовки и так нечитабельный на 96% доров. :ah:
     
  8. ns86

    ns86 Создатель

    Регистр.:
    9 окт 2008
    Сообщения:
    46
    Симпатии:
    4
    Я в спарсенном тексте произвожу чистку по стоп словам, т.е делаю поочередную замену всех стоп слов на другое слово или пробел.
    Делаю это или с помощью текстового редактора EmEditor:
    Вот: EmEditor Professional 8.04 + key
    http://depositfiles.com/files/iq6tt6y30
    http://letitbit.net/download/4866.4ca8e1d33e140d4dbe8b4c603/EmEditor_Professional_8.04.rar.html
    или с помощью очень шустрой проги "Словогрыз"
    http://depositfiles.com/files/s1ctqyagb
    http://letitbit.net/download/4897.4f3e84d2d1bedf3c7ad2f7265/slovgriz.rar.html
     
  9. seotracer

    seotracer Читатель

    Заблокирован
    Регистр.:
    23 авг 2009
    Сообщения:
    32
    Симпатии:
    2
    UltraEdit - хороший текстовый редактор
    зоо
    инцест
    животные
    собака
    дети
    подростки
    ребенок

    Собственно по таким словам чищу
     
  10. monz

    monz Создатель

    Регистр.:
    24 авг 2009
    Сообщения:
    37
    Симпатии:
    0
    Также отлично юзать MS Word - ввел искомое слово, нажал заменить все и готово
     
Статус темы:
Закрыта.