[Nginx] 악성봇 & 스팸봇 차단

웹 사이트 운영하다보면.. 사람뿐만 아니라 '봇'이 접근하여 사이트의 정보를 긁어가거나

인위적으로 접근을 시도하는 것이 더러 있다.

​

이것들은 웹사이트를 운영하는 관리자의 입장에서 전혀 도움이 되지 않는 것들이기 때문에,

이것들을 차단해보는 방법을 알아보자.

​

첫번째 방법으로 robot.txt 파일로 차단하는 방법이 있지만, 대개 악성봇들은 막아주지 못하기 때문에

Nginx 에서 설정해서 차단해보자.

​

1. /etc/nginx/conf.d/default.conf 파일 수정

( Nginx 버전에 따라 없는 분은 /etc/nginx/sites-available/도메인.conf 파일 수정)

server {
         if ($http_user_agent ~* (AhrefsBot|BLEXBot|DotBot|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71) ) {
          return 403;
       }
}

해당 url 로 접근하기전에 http_user_agent 값이 다음과 같으면 403페이지로 이동시킨다.

( 악성봇은 생각보다 더 많으니 nginx의 access.log를 확인하여 추가적으로 식별하면 더 추가하여 작성한다.)

​

2. nginx 테스트후 재시작

nginx -t systemctl restart nginx

​