본문 바로가기
기타

robots.txt Nginx로 설정하기

by 햄과함께 2018. 11. 9.
320x100

코드가 아닌 서버상에서 Nginx 설정으로 robots.txt 설정하기.


예를 들어, usr/static 위치에 robots.txt를 만들었다고 하자.


robots.txt

User-agent: *
Disallow: /
cs

위는 예시. (모든 크롤링을 막음)



nginx.conf

server 블럭을 수정하자.

server {
    // 생략
 
    location = /robots.txt {
           root /usr/static//파일 경로
        try_files /robots.txt /robots.txt;
    }
    
    location = / {} //루트 경로 위에 설정
 
}
cs

루트 경로 위에 작성한다. (Nginx는 위에서부터 차례로 탐색하기 때문에 루트 경로가 robots.txt 경로보다 위에 작성하게 된다면 제대로 적용되지 않음.)

/robots.txt로 접근시 -> robots.txt를 참조하게 하는 코드다.


이렇게 하면 [도메인]/robots.txt로 접근 시 우리가 작성한 robots.txt가 화면에 나온다.

네이버로 예를 들자면, 

요런식으로. 


참고 : robots.txt 파일 만들기





320x100

'기타' 카테고리의 다른 글

hosts 파일 도메인 설정.  (0) 2018.11.27
PowerShell 스크립트 실행 - ExecutionPolicy  (0) 2018.11.24
ubuntu gradle 버전 못찾을 때.  (0) 2018.11.09
aws ubuntu 서버에 jenkins 설치하기  (0) 2018.11.06
Window Jenkins 설치  (0) 2018.11.03

댓글