용어사전 · AI 검색 · Crawler / Bot

크롤러란 무엇입니까?

웹페이지를 자동으로 돌며 내용을 수집하는 프로그램.

필요성

검색과 AI 노출의 출발점입니다. 크롤러가 접속하지 못하면 그 뒤의 모든 작업은 의미가 없습니다. 구조화 데이터를 아무리 잘 넣어도 읽으러 오지 못하면 없는 것과 같습니다.

크롤러는 사람과 다른 조건으로 접속합니다.

그래서 브라우저로 보이는 화면과 크롤러가 받는 응답이 전혀 다를 수 있습니다. 진단에서 가장 먼저 확인하는 것이 이 부분입니다.

크롤링은 페이지를 가져오는 단계이고, 색인은 가져온 내용을 검색 가능한 형태로 저장하는 단계입니다. 순서대로 일어나며 각각 따로 실패할 수 있습니다.

"크롤링은 되는데 색인이 안 된다"면 3단계 문제이고, "아예 접속 기록이 없다"면 1단계 문제입니다.

제조업 사이트에서 가장 흔한 1단계 실패 원인은 보안 프로그램입니다. 자동등록방지 화면이나 접속 차단 솔루션이 걸려 있으면, 크롤러는 본문 대신 차단 화면을 받습니다.

이 상태에서는 진단 도구조차 채점하지 못합니다. 사람이 보기에는 홈페이지가 정상이므로 문제가 있다는 사실 자체를 모르고 몇 년이 지나는 경우가 많습니다. 조치는 사람용 보안은 유지한 채 검색·AI 크롤러 경로만 허용하는 것입니다.

공개 페이지에 한정해 허용하는 것이므로 관리자 화면이나 내부 자료 경로와는 무관합니다. robots.txt에서 공개 영역과 비공개 영역을 나눠 지정합니다.

서버 접속 로그의 User-Agent로 확인할 수 있고, 구글 서치 콘솔·빙 웹마스터 도구에서도 수집 상태를 볼 수 있습니다. 진단 시 함께 확인해 드립니다.