Получаю абузы, при этом ничего запрещенного не делаю

[Menro]

Добрый день!
Думаю именно в этом разделе есть люди, которые помогут мне разобраться в сложившейся ситуации.
Короче. Есть у меня ПО на сервере, которое работает примерно как поисковая система, только в отличие от поисковиков, мой софт заходит только на главные страницы сайтов и парсит нужную информацию. Сейчас я планирую увеличить количество обращений к каждому сайту, например совершать 2-3 get-запроса и собирать информацию, которая мне отдаётся.

Но, уже сейчас меня заблокировал мой хостинг провайдер, потому как у кого-то сработал mod_security.
Я не понимаю почему так происходит, почему мне кидают абузы за абсолютно правомерные действия? У себя на сайтах за день от 20 до 50 разных ботов встречаю, не думаю, что мой хостер им абузы рассылает. ПО проработало 19 дней, обошло около 60 млн сайтов и начались абузы.

Может IP нужны разные? Может ещё что?
Подскажите советом. Спасибо!

 

[mefish]

юзерагент какой ? curl, wget ? из-за 1-2 запросов в mod_security не попадают, просканируйте мой

посмотрим что там он пишет в логи.

 

[aurora2000]

ИМХО в юзер агенте нужно указывать полный урл на соглашение или описание робота, например как тут:

Mozilla/5.0 (compatible; SputnikBot/2.3; +Для просмотра ссылки Войди или Зарегистрируйся)

 

[Menro]

юзерагент какой ? curl, wget ? из-за 1-2 запросов в mod_security не попадают, просканируйте мой посмотрим что там он пишет в логи.

К сожалению сейчас софтом зайти не могу, так как он на серваке, а сервак заблокирован.
Программист мой уточнил, что софт делает:

Заходит по 2-м адресам:

/
/administrator

Больше никаких POS-запросов, то есть это не брутфорс, что бы все понимали.
Представляется софт юзерагентом Mozilla/3.0

Из-за /administrator?

 

[aurora2000]

Из-за /administrator?

99%