robots.txt 검색엔진과 첫만남, SEO 시작하기!

robots.txt 란? 검색엔진은 각각의 로봇들을 통해 웹문서를 수시로 체크하여 색인 합니다. 이 로봇들은 인터넷을 세상의 집(host)을 방문하여 웹문서의 정보를 긁어(그래서 크로울링 봇 이라고 합니다.) 서버에 색인을 작성합니다. robots.txt 는 이런 로봇들의 방문 허용에 대한 지침으로 로봇들은 사이트에 방문시 robots.txt 의 지침을 확인하고 지침에 따라 행동합니다. 물론, 지침이기 때문에 로봇의 행동을 강제할 수는 없습니다. robots.txt 지침…