robots.txt 검색엔진과 첫만남, SEO 시작하기!

robots.txt 란?

검색엔진은 각각의 로봇들을 통해 웹문서를 수시로 체크하여 색인 합니다. 이 로봇들은 인터넷을 세상의 집(host)을 방문하여 웹문서의 정보를 긁어(그래서 크로울링 봇 이라고 합니다.) 서버에 색인을 작성합니다.

robots.txt 는 이런 로봇들의 방문 허용에 대한 지침으로 로봇들은 사이트에 방문시 robots.txt 의 지침을 확인하고 지침에 따라 행동합니다. 물론, 지침이기 때문에 로봇의 행동을 강제할 수는 없습니다.


robots.txt 지침 작성 방법

기본 파일 생성

  • 지침을 작성할 텍스트 파일을 생성합니다.
  • robots.txt 라는 파일명(정확히 일치)으로 저장 합니다.
  • 만들어진 파일을 사이트의 최상위의 디렉토리 또는 도메인의 루트에 저장합니다.

지침 작성 구문

a. 기본 작성

  • User-agent: 로봇의 이름을 입력
  • Disallow: 차단을 원하는 페이지 또는 디렉토리의 경로를 입력
  • Allow: 앞서 차단된 경로의 디렉토리의 하위 디렉토리나 차단 해제를 원하는 디렉토리 경로 입력

b. 경로 입력 방법

  • 전체 차단 – Disallow: /
  • 경로 차단 – Disallow: /원하는 디렉토리명
    > 하위 디렉토리 또한 모두 차단 됩니다.
  • 파일 차단 – Disallow: /디렉토리 경로/파일명

*허용을 의미하는 Allow 에도 동일하게 사용할 수 있습니다.

c. 검색엔진별 로봇명(User-agent)

  • 구글: Googlebot
  • 네이버: Yeti
  • 네이버: Naverbot
  • 다음: Daumoa
  • 빙: Bingbot

robots.txt 를 작성하는 이유

  • 불필요하게 많은 로봇의 방문으로 인한 트래픽 소요를 줄일수 있다.
  • 검색 서비스의 색인에 능동적으로 대응한다.
    • 개발중인 사이트가 검색 노출이 되지 않도록 설정할 수 있다.
    • 특정 웹문서 또는 소재를 검색 노출이 되지 않도록 설정할 수 있다.

Gene.W.

W / 남편 / 아빠 / 마케터 / 커피덕후