점검 방법 · 2026-08-16
홈페이지가 봇에 차단되어 있는지 3분 만에 확인하기
검색·AI 노출 문제의 상당수가 콘텐츠 문제가 아니라 접근 문제입니다. 그리고 이 문제는 브라우저로 홈페이지를 열어 봐서는 발견되지 않습니다.
왜 회사 안에서는 모릅니까
보안 솔루션은 사람과 프로그램을 구분해 다르게 응답합니다. 브라우저로 접속하면 잠깐 확인 화면을 거친 뒤 정상 페이지가 뜨고, 크롤러가 접속하면 확인 화면에서 멈춥니다.
즉 화면상으로는 아무 문제가 없습니다. 그래서 몇 년간 검색에 나오지 않으면서도 원인을 모르는 상태가 이어집니다.
어떻게 확인합니까
세 가지를 순서대로 보시면 됩니다.
1. robots.txt 직접 열어 보기
주소창에 도메인/robots.txt를 입력합니다. 확인할 것은 두 가지입니다.
- 파일이 열리는가 — 404가 뜨면 파일이 없는 상태입니다
Disallow: /가 전체에 걸려 있지 않은가- GPTBot·ClaudeBot·PerplexityBot이 차단되어 있지 않은가
2. site: 검색으로 색인 수 확인
검색창에 site:도메인을 입력합니다. 나오는 결과 수가 실제 페이지 수와 크게 차이 나면 색인이 되지 않고 있는 것입니다. 아예 0건이면 심각한 상태입니다.
3. 페이지 소스에서 noindex 확인
페이지에서 소스 보기를 열고 noindex를 검색합니다. 제작 중에 걸어 둔 설정이 오픈 후에도 남아 있는 경우가 드물지 않습니다.
다만 서버 응답 헤더의 X-Robots-Tag는 소스 보기로 확인되지 않습니다. 이 부분은 도구가 필요합니다.
세 가지 다 정상인데 검색이 안 됩니다
그러면 접근 문제가 아니라 다른 층의 문제입니다. 순서대로 짚어야 할 항목이 남아 있습니다.
| 증상 | 의심 지점 |
|---|---|
| 색인은 되는데 순위가 없다 | 내용 문제 — 사양 정보와 질문형 문서 부재 |
| 회사명으로만 검색된다 | 일반 키워드 대응 문서 부재 |
| AI 답변에만 안 나온다 | 구조화 데이터 부재 |
| 일부 페이지만 색인된다 | 중복 내용 또는 내부 링크 단절 |
어느 층의 문제인지 구분하지 않고 조치하면 효과가 없습니다. 무료 진단은 이 구분을 32개 항목으로 나눠 판정합니다.
이 글에 관해 자주 받는 질문
보안 솔루션을 끄면 위험하지 않습니까?
끄는 것이 아니라 크롤러 경로만 예외 처리하는 것입니다. 사람에 대한 보안 정책은 그대로 유지됩니다. 대부분의 솔루션이 검색엔진 봇 허용 목록 기능을 제공합니다.
호스팅 업체에 요청하면 됩니까?
보안 솔루션이 호스팅에 포함된 경우 요청으로 해결됩니다. 별도 솔루션이거나 사이트 코드에서 처리하는 경우에는 개발 작업이 필요합니다.