용어사전 · 기술 · robots.txt

robots.txt란 무엇입니까?

어떤 크롤러가 어디까지 접근해도 되는지 적어 둔 규칙 파일.

필요성

도메인 최상단에 두는 텍스트 파일입니다. 크롤러는 사이트를 돌기 전에 이 파일을 먼저 읽고 규칙을 따릅니다. 진단 배점은 3점이지만, 잘못 설정되어 있으면 다른 항목까지 무의미해지는 파급력이 있습니다.

실무에서 확인해야 할 것은 두 가지입니다.

제작 업체가 개발 중에 전체 차단을 걸어 두고 오픈 후 해제하지 않은 사례가 드물지 않습니다. 이 경우 몇 년간 검색에 전혀 나오지 않습니다.

단계가 다릅니다. robots.txt는 가져가지 말라이고, noindex는 가져가되 저장하지 말라입니다.

주의할 조합이 있습니다. robots.txt로 막아 두면 크롤러가 페이지를 읽지 못하므로 noindex도 읽지 못합니다. 결과적으로 검색 결과에 주소만 남는 상태가 될 수 있습니다. 결과에서 빼려면 크롤링은 허용하고 noindex를 쓰는 것이 맞습니다.

제조업 사이트에 권장하는 설정은 단순합니다.

파일이 정상이어도 앞단의 보안 솔루션이 크롤러를 차단하고 있을 수 있습니다. 파일 내용 확인만으로는 부족하고 실제 응답을 받아 봐야 합니다.

없어도 기본은 전체 허용이라 치명적이지는 않습니다. 다만 사이트맵 위치를 알릴 자리가 없고, AI 크롤러 허용을 명시할 수 없어 진단에서는 감점됩니다.

크롤러가 다시 읽어야 하므로 통상 며칠에서 수 주가 걸립니다.