루미넌스 - TechNote

사이트가 특정 호스트(host)와 포트(port) 번호에서 HTTP 서버로 운영되는 것으로 정의되었으면, 로봇은 단순히 사이트 URI에서 "/robots.txt"를 찾을 것입니다. robots.txt의 위치 예제입니다.

싸이트에는 하나의 "/robots.txt" 만을 가질 수 있습니다. 구체적으로, "robots.txt" 화일들은 로봇이 그것을 사용자 디렉토리에서 찾지 않기 때문에, 사용자 디렉토리에 위치시켜서는 안됩니다. 사용자가 자신의 "robots.txt"를 만들기를 원하면, 단일 "/robots.txt" 안에 모두 통합(merge)할 필요가 있습니다.

- 모든 로봇에 대한 모든 디렉토리 검색 거부시

User-agent:*
Disallow:/

- 모든 로봇에 대한 서버 일부분만 검색거부시
 (예: /secure 디렉토리, /policy 디렉토리만 검색거부)

User-agent:*
Disallow:/secure/
Disallow:/policy/

URI는 대소문자 구별하며, "/robots.txt" 문자열은 모두 소문자이어야 하며, 공백은 허용되지 않습니다.

만일 그 값이 "*" 이면, 그 레코드는 다른 레코드들과 하나도 맞지 않는 어떤 로봇에서나 가능한 디폴트 접속(access) 정책(policy)을 나타냅니다. "/robots.txt" 안에서 여러개의 그러한 레코드를 갖는 것은 허용되지 않습니다.

"Disallow"(허용 안함) 필드는 방문 할 수 없는 부분 URI를 지정합니다. 이는 완전 경로(full path) 또는 부분 경로가 될 수 있습니다. 이 값으로 시작되는 URI는 읽혀지지 않을 것입니다. 예를 들어 ,

Disallow: /help
/help.html과 /help/index.html 둘 다 허용 안함,

Disallow: /help/
/help/index.html는 허용 안하나, /help.html은 허용 됨.

"Disallow"에서 빈 값은, 모든 URI들이 읽혀 질 수 있음을 가리깁니다. robots.txt 화일에는 최소한 한개의 "Disallow" 필드(field)가 있어야 합니다.

robots.txt 생성 예시

처음 라인은 "#"로 시작하는 데, 이것들은 코멘트이므로 로봇들이 무시합니다.
webcrawler라는 로봇에 대해 아무것도 불허하지 않는다는 것을 얘기합니다. 다시말해 어디에나 갈 수 있다고 허락하는 것입니다.

lycra라는 로봇에 대해, "/"에 상대적으로 아래 있는 모든 URL에 대해 접근을 제한하겠다는 뜻입니다. 모든 URL은 "/"로부터 시작되므로 이것은 이 로봇에 이 사이트 전체를 불허하겠다는 뜻입니다.

모든 로봇들에 대해 /tmp나 /logs로 시작하는 URL을 읽어가지 못하도록 막는 것을 얘기 합니다.