скачивание robots.txt

absurdo

Участник
Регистрация
22 Мар 2007
Сообщения
317
Реакции
9
подскажите пожалуйста скрипт для решения такой задачи: есть файл со списком адресов сайтов, каждый сайт с новой строки, адрес начинается с http:// Нужно скачать файл robots.txt у каждого сайта, и сохранить с именем домена, например: mysiteru.txt (содержит robots.txt сайта mysite,ru), mysitecomua.txt (mysite.com.ua), subdomainmysitenet.txt (subdomain.mysite.net).
 
Код:
cat filename | awk -F/ '{print $0" -O "$3}' | xargs -L1 wget
Это если в файле есть полный путь к robots.txt в URL, если нет, тогда так:
Код:
cat filename | awk -F/ '{print $0"/robots.txt -O "$3}' | xargs -L1 wget
 
спасибо, на выходных будет доступ к никсу, попробую.
 
А в каком формате сохранить этот скрипт? Или каждый раз через терминал проганять?
 
Назад
Сверху