크롤링1 robots.txt Nginx로 설정하기 코드가 아닌 서버상에서 Nginx 설정으로 robots.txt 설정하기. 예를 들어, usr/static 위치에 robots.txt를 만들었다고 하자. robots.txtUser-agent: *Disallow: /cs위는 예시. (모든 크롤링을 막음) nginx.confserver 블럭을 수정하자.server { // 생략 location = /robots.txt { root /usr/static; //파일 경로 try_files /robots.txt /robots.txt; } location = / {} //루트 경로 위에 설정 }Colored by Color Scriptercs루트 경로 위에 작성한다. (Nginx는 위에서부터 차례로 탐색하기 때문에 루트 경로가 robots.txt 경로보다 위에 작성.. 2018. 11. 9. 이전 1 다음
