Как найти неиндексируемые форумы ?

Статус
В этой теме нельзя размещать новые ответы.

phinik

Постоялец
Заблокирован
Регистрация
11 Апр 2007
Сообщения
78
Реакции
18
  • Автор темы
  • Заблокирован
  • #1
Встала задача найти неиндексируемые форумы
;)
 
Я не дорвейщик, но если не прав, прошу профи поправить меня:
inurl:robots .txt intext:"Disallow: /*/"

При подборе запроса отталкивался от:


Соответственно, если знать названия типичных папок форумных движков, либо просто еще немного поиграть с этим запросом, то процесс ускорится.
 
  • Автор темы
  • Заблокирован
  • #3
Примерно

Примерно так ?
intitle:СЛОВО Disallow: /forum/posting.php
Сработает?
 
ну во-первых, чтобы напарсить только роботсы, надо написать так:
filetype:txt inurl:robots
А теперь комбинируя первую строку с нижеследующими, можно, думаю, получить как раз то, что ты ищешь.
Disallow: /*/
inurl:forum
Я, например, кой чего интересного нашел вот так
filetype:txt inurl:robots inurl:forum "Disallow: /*/"

А для более точного парсинга добавляем/вычитаем типы форумов (см.ниже), признаки по странам, по языкам...

Powered by vBulletin
Powered by Invision Power Board
Powered by Web Wiz Forums
Powered by XMB
Powered by UBB.threads
Powered by IGG
Powered by FusionBB
Powered by PhotoPost
Powered by phpBB
powered by Phorum

ну еще можно добавлять строки типа
forumdisplay.php?
showthread.php?
topic.cgi?
 
Robots.txt может попасть в индекс в случае если на него явно стоит ссылка, что встречается крайне редко.
Таким способом имхо больше мусора найдете чем форумов...

И для чего это вообще надо? Ищите источник уникального контента?:)
 
а если попробовать так
есть сайты где публикуются списки доменов
брать домен оттуда и смотреть на его robots.txt
подозрительные откладывать

потом пробежатся по этой базе запрашивая / и /forum - и парсить отдачу на

Powered by vBulletin
Powered by Invision Power Board
Powered by Web Wiz Forums
Powered by XMB
Powered by UBB.threads
Powered by IGG
 
  • Автор темы
  • Заблокирован
  • #7
Да

Robots.txt может попасть в индекс в случае если на него явно стоит ссылка, что встречается крайне редко.
Таким способом имхо больше мусора найдете чем форумов...

И для чего это вообще надо? Ищите источник уникального контента?:)
Да это так:)
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху