robots txt 파일 생성, 수정, 적용까지 총정리 가이드
웹 크롤러가 우리 사이트에 방문해서 웹 페이지 url 을 크롤링해 갈 때, robots.txt 파일이 없다면 기본적으로 모든 페이지를 크롤링해 갑니다. 그러다보면 중복된 링크등 불필요한 링크들을 가져가게 되고, 이 불필요한 링크들을 색인하고 처리하는데에 있어서 너무 많은 User Agent(사용자 에이전트)를 받은 검색엔진이 과부화가 걸릴 수 있습니다. 이러한 과정은 전부 에너지를 쓰는 과정으로 불필요한 에너지를 낭비하게 만드는 홈페이지를 서치엔진은 안좋게 평가할 수 있고, 그렇게 되면 상위노출이 어려워질 수 있습니다.
조회 3,152