robots.txt
-
[검색엔진 최적화] robots.txt 생성과 등록일상의 관심 2017. 5. 19. 14:53
로봇 배제 표준은 웹 사이트에 검색 로봇이 접근하는 것을 방지하기 위한 규약으로 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술하게 됩니다. 해당 규약은 1994년 6월에 처음 만들어졌으며 검색 로봇은 robots.txt 에 작성된 룰에 따라 웹 페이지 내의 정보를 수집하게 됩니다. 다만, 해당 규약은 권고안으로 robots.txt 에 접근 방지 설정을 했다고 하더라도 접근은 가능합니다. 1. 파일 robots.txt 는 기본 루트안에 위치해야 합니다. 2. 파일 robots.txt 작성 규칙 1) User-agent : 모든 로봇의 접근을 허용할 때에는 User-agent: *, 특정 로봇만 접근하게 할 때에는 해당 로봇 명을 입력해 주면 됩니다. ( 네이버 검색로봇만 허용할 경우 Use..