robots.txt 작성방법 특정로봇 차단/허용 하기

웹사이트는 robots.txt. 파일을 사용해서 웹 로봇에 대한 지침을 제공합니다.

로봇이 돌아다니면서 사이트를 찾으면 먼저 http://www.사이트주소.com/robots.txt 파일을 확인합니다.

User-agent: *

Allow:/

이런식으로 표시되어있으면 모든 로봇에 적용이 됩니다.

robots.txt파일은 최상위 디렉토리에 둡니다.

User-agent: *

Disallow : / cgi-bin /

Disallow : / tmp /

Disallow : / ~ joe /

이렇게 작성하면 위의 세 개의 디렉토리가 제외됩니다.

- 모든 로봇을 제외 시키기

User-agent: *

Disallow : /

- 모든 로봇의 완벽한 액세스 허용

User-agent: *

Disallow : 

이렇게 넣거나 그냥 빈 파일을 만들거나 사용하지 않으면 됩니다.

단일 로봇 제외

User-agent: : 제외할 로봇 이름

Disallow : /

단일 로봇 허용

User-agent: 허용할 로봇 이름

Disallow:

User-agent: *

Disallow: /

허용할 로봇만 빼고 나머지는 다 차단합니다.

http://www.robotstxt.org/

좀 더 자세한 사항은 위 주소에서 확인할수 있습니다.