728x90 300x250 robots.txt1 robots.txt 작성방법 특정로봇 차단/허용 하기 웹사이트는 robots.txt. 파일을 사용해서 웹 로봇에 대한 지침을 제공합니다.로봇이 돌아다니면서 사이트를 찾으면 먼저 http://www.사이트주소.com/robots.txt 파일을 확인합니다. User-agent: *Allow:/ 이런식으로 표시되어있으면 모든 로봇에 적용이 됩니다. robots.txt파일은 최상위 디렉토리에 둡니다. User-agent: *Disallow : / cgi-bin /Disallow : / tmp /Disallow : / ~ joe / 이렇게 작성하면 위의 세 개의 디렉토리가 제외됩니다. - 모든 로봇을 제외 시키기 User-agent: *Disallow : / - 모든 로봇의 완벽한 액세스 허용 User-agent: *Disallow : 이렇게 넣거나 그냥 빈 파일을.. 2018. 12. 30. 이전 1 다음 728x90 반응형