robots.txt Nginx로 설정하기

코드가 아닌 서버상에서 Nginx 설정으로 robots.txt 설정하기.

예를 들어, usr/static 위치에 robots.txt를 만들었다고 하자.

robots.txt

User-agent: *
Disallow: /

위는 예시. (모든 크롤링을 막음)

nginx.conf

server 블럭을 수정하자.

server {
    // 생략
 
    location = /robots.txt {
           root /usr/static; //파일 경로
        try_files /robots.txt /robots.txt;
    }
    
    location = / {} //루트 경로 위에 설정
 
}

루트 경로 위에 작성한다. (Nginx는 위에서부터 차례로 탐색하기 때문에 루트 경로가 robots.txt 경로보다 위에 작성하게 된다면 제대로 적용되지 않음.)

/robots.txt로 접근시 -> robots.txt를 참조하게 하는 코드다.

이렇게 하면 [도메인]/robots.txt로 접근 시 우리가 작성한 robots.txt가 화면에 나온다.

네이버로 예를 들자면, 

요런식으로. 

참고 : robots.txt 파일 만들기