[검색엔진 최적화] robots.txt 생성과 등록

로봇 배제 표준은 웹 사이트에 검색 로봇이 접근하는 것을 방지하기 위한 규약으로 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술하게 됩니다.

해당 규약은 1994년 6월에 처음 만들어졌으며 검색 로봇은 robots.txt 에 작성된 룰에 따라 웹 페이지 내의 정보를 수집하게 됩니다.

다만, 해당 규약은 권고안으로 robots.txt 에 접근 방지 설정을 했다고 하더라도 접근은 가능합니다.

 

1. 파일 robots.txt 는 기본 루트안에 위치해야 합니다.

 

2. 파일 robots.txt 작성 규칙

   1) User-agent : 모든 로봇의 접근을 허용할 때에는 User-agent: *, 특정 로봇만 접근하게 할 때에는 해당 로봇 명을 입력해 주면 됩니다. ( 네이버 검색로봇만 허용할 경우 User-agent: Yeti )

   2) Allow:/ : 모든 웹페이지에 접근 허용

   3) Disallow: /폴더명/ : 특정 폴더만 접근 금지 ( Disallow: / : 모든 폴더에 접근 금지 )

 

   * 2번 항목과 3번 항목은 둘 중 하나만 표기해 주면 됩니다.

 

 

robots.txt 대신 메타 태그를 이용하여 작성할 수도 있지만 일반적으로는 robots.txt 를 사용하고 있으며 메타 태그 규칙은 일부 로봇만이 지원하고 있습니다.

 

대략적인 검색 로봇명을 보면 구글 : Googlebot, 네이버 : Yetibot, 다음 : Daumoa, Bing : Bingbot, MSN : Msnbot 으로 되어 있습니다.