서치콘솔의 페이지 색인 보고서를 열었는데, 초록색보다 회색 줄이 더 많다면 심장이 살짝 쪼그라듭니다. 하지만 회색은 모두 사고 신고가 아니라, 구글이 “지금은 이쪽 사정이 있습니다”라고 보내는 안내문에 가깝습니다.
문제는 그 안내문이 사람 말이 아니라 로봇 말처럼 보인다는 점입니다. 오늘은 “발견됨”, “크롤링됨”, “중복”, “오류” 같은 상태 메시지를 우리말로 번역하고, 어떤 경우에 손을 대야 하는지 차근차근 살펴보겠습니다.
색인 보고서는 웹페이지의 출석부가 아닙니다
구글 검색은 크게 세 단계로 움직입니다. 먼저 구글의 자동 프로그램이 페이지를 찾고, 그다음 내용을 읽어 저장하며, 마지막으로 검색어와 잘 맞는 페이지를 결과에 보여줍니다.
첫 단계가 페이지를 찾아 방문하는 일이라면, 두 번째 단계가 색인입니다. 색인은 도서관 사서가 책을 읽고 서가에 꽂는 과정과 비슷합니다. 책이 도서관에 도착했다고 해서 반드시 서가 한가운데 놓이는 것은 아니지요.
구글 서치 센터는 페이지가 구글봇에 막히지 않고, 정상적인 성공 응답을 보내며, 읽을 수 있는 내용을 담아야 색인될 자격이 생긴다고 설명합니다. 다만 이 조건을 모두 만족해도 색인이 반드시 보장되는 것은 아닙니다.
따라서 보고서의 핵심 질문은 “회색이 몇 개인가”가 아닙니다. “내가 검색에 보여주고 싶은 중요한 페이지가 왜 회색인가”입니다.
발견됐지만 아직 색인되지 않았다는 말의 속뜻
발견됨, 현재 색인되지 않음
이 메시지는 구글이 주소의 존재는 알지만, 아직 페이지를 제대로 방문하지 않았다는 뜻입니다. 사이트맵에서 주소를 봤거나 다른 페이지의 링크를 따라 주소를 알아냈을 수 있습니다.
집 주소는 받았지만 아직 방문 약속을 잡지 못한 상태라고 생각하면 쉽습니다. 새 사이트이거나, 내부 링크가 약하거나, 한꺼번에 주소가 너무 많이 생긴 사이트에서 자주 보입니다.
먼저 확인할 것은 사이트맵에 주소가 들어 있는지, 다른 중요한 페이지에서 자연스럽게 링크되는지입니다. 페이지가 로그인 뒤에 있거나 robots.txt로 막혀 있지는 않은지도 살펴봐야 합니다.
사이트맵에 주소를 넣고 내부 링크를 점검하는 일이 번거로운 워드프레스 사이트라면, SOHO SEO가 관련 설정을 한곳에서 다룰 수 있습니다. Sitemap에서 일반 XML 사이트맵과 최근 게시물만 담는 Google News 사이트맵을 켜거나 끌 수 있습니다.
또 게시물에서 내부 링크 후보를 찾아 선택하거나 자동으로 적용해 게시할 수 있습니다. 다만 이 기능이 특정 페이지의 색인을 보장하는 것은 아니므로, 설정 뒤에는 서치콘솔에서 실제 상태를 확인해야 합니다.
구글은 새 페이지가 대부분 당일에 바로 발견된다고 약속하지 않습니다. 구글 문서에서도 일반 사이트의 새 페이지는 며칠 이상 걸릴 수 있다고 안내하므로, 게시 버튼을 누른 뒤 초 단위로 보고서를 새로 고치는 일은 디지털 주식 시세판을 보는 것과 비슷합니다.
크롤링됨, 현재 색인되지 않음
이번에는 구글이 실제로 페이지를 방문했습니다. 그런데 읽어본 뒤 아직 색인에 넣지 않았다는 뜻입니다.
여기서 많은 사람이 “서버 오류인가요?”라고 묻지만, 꼭 기술 문제는 아닙니다. 내용이 다른 페이지와 거의 같거나, 짧고, 검색하는 사람에게 새로 줄 정보가 적다고 판단될 때도 이런 상태가 나타날 수 있습니다.
예를 들어 상품 설명을 단어 몇 개만 바꿔 열 개의 주소에 반복했다면, 구글 입장에서는 열 권의 책이 아니라 표지만 다른 같은 책처럼 보일 수 있습니다. 이때는 억지로 재수집을 반복하기보다 페이지마다 다른 질문에 답하는지 먼저 점검해야 합니다.
오류처럼 보이지만 사실은 정상인 메시지
중복 페이지와 대표 주소
“중복 페이지이며 대표 주소를 선택하지 않음” 같은 메시지는 이름부터 혼을 쏙 빼놓습니다. 뜻은 간단합니다. 비슷한 페이지가 여러 개라서 구글이 그중 다른 주소를 대표로 골랐다는 말입니다.
정렬 순서가 다른 상품 목록, 색상 필터가 붙은 주소, 끝에 물음표가 붙은 주소가 대표적인 예입니다. 내용이 사실상 같다면 모두 색인되는 편이 오히려 검색 결과를 복잡하게 만듭니다.
같은 내용을 여러 주소로 꼭 보여줘야 한다면 대표로 삼을 주소를 알려주는 표시를 사용하고, 사이트맵에는 대표 주소를 중심으로 넣는 것이 좋습니다. 단, 구글은 사이트 운영자가 지정한 대표 주소를 참고하지만 언제나 그대로 선택한다고 보장하지는 않습니다.
noindex와 robots.txt는 서로 다른 문입니다
페이지에 “색인하지 마세요”라는 noindex 표시가 있으면 구글은 페이지를 읽을 수 있어도 검색 결과에 넣지 않습니다. 반면 robots.txt는 애초에 구글봇이 들어오지 못하게 하는 문에 가깝습니다.
검색에서 빼고 싶은 페이지에 robots.txt만 걸어두면, 구글이 noindex라는 안내문을 읽지 못할 수 있습니다. 구글은 색인을 막고 싶다면 크롤링은 허용한 채 noindex를 쓰는 방법을 안내합니다.
공개할 필요가 적은 보관 페이지를 구분해야 한다면 SOHO SEO의 noindex management를 사용할 수 있습니다. 날짜, 작성자, 태그, 검색 결과와 선택한 분류 보관 페이지에 noindex 설정을 적용하는 기능입니다.
색인 대상에서 제외할 범위를 페이지 유형별로 정리할 때 유용하지만, 게시물과 페이지 전체를 noindex로 만드는 기능은 아닙니다. 적용 대상을 정한 뒤에는 서치콘솔에서 해당 주소의 상태를 다시 확인하세요.
반대로 관리자 화면, 장바구니, 내부 검색 결과처럼 정말 공개할 필요가 없는 곳은 로그인으로 보호하는 편이 안전합니다. 회색 상태를 무조건 초록색으로 바꾸는 것이 목표가 아니라, 공개해야 할 것과 숨겨야 할 것을 정확히 나누는 것이 목표입니다.
직접 고칠 때 가장 많이 막히는 지점
실제 작업에서는 상태 메시지 하나를 읽는 것보다, 어느 주소가 어떤 이유로 묶였는지 분류하는 일이 더 어렵습니다. 보고서에는 대표 예시 주소가 나오지만, 사이트 전체 주소가 모두 펼쳐지는 것은 아니며 같은 페이지에 여러 문제가 겹칠 수도 있습니다.
예를 들어 한 페이지가 robots.txt에 막힌 동시에 사이트맵에도 들어 있을 수 있습니다. 또 페이지는 200이라는 정상 응답을 보내지만, 화면에는 “상품이 없습니다”라는 빈 내용만 보여줄 수도 있습니다. 숫자 하나만 보고 서버 문제라고 단정하면 엉뚱한 곳의 나사만 조이게 됩니다.
직접 해결할 때는 다음 순서가 안전합니다.
- 검색에 꼭 필요한 주소인지 먼저 결정합니다.
- URL 검사에서 실제 페이지와 구글이 본 페이지를 비교합니다.
- robots.txt, noindex, 대표 주소, 내부 링크를 확인합니다.
- 중복이면 내용을 합치거나 대표 주소를 정합니다.
- 고친 뒤 필요한 주소만 다시 확인을 요청합니다.
특히 “크롤링됨, 현재 색인되지 않음”을 여러 번 다시 제출하는 것은 만능 주문이 아닙니다. 구글 문서도 재수집 요청이 색인을 보장하지 않으며, 중요한 변경이 있을 때만 사용하는 편이 낫다고 안내합니다.
주소가 수백 개를 넘으면 사람이 일일이 열어보는 방식은 금세 한계에 부딪힙니다. 예시 주소를 모으고, 비슷한 제목과 주소 패턴을 묶고, 사이트맵과 실제 페이지를 맞춰보는 작업이 필요하기 때문입니다. 이때는 표 계산 프로그램이나 사이트 점검 도구를 활용해 반복 확인을 줄이는 것이 현실적입니다.
색인 보고서를 검색 유입의 신호등으로 쓰는 법
보고서는 고장 난 페이지 목록이 아니라 구글이 사이트를 어떻게 이해하는지 보여주는 지도입니다. 특정 상태가 갑자기 늘었다면 새 글의 품질만 의심하지 말고, 최근 디자인 변경이나 주소 구조 변경도 함께 돌아봐야 합니다.
색인된 페이지가 갑자기 줄었는데 오류가 늘지 않았다면 robots.txt, noindex, 로그인 설정이 바뀌었을 가능성을 먼저 확인합니다. 반대로 중복 주소가 크게 늘었다면 필터와 정렬 기능이 주소를 폭발적으로 만들고 있는지 살펴봅니다.
고친 뒤에는 보고서의 “수정 확인”을 사용할 수 있습니다. 구글은 해당 문제의 주소를 다시 확인하고, 진행 상황을 시작됨, 확인 중, 통과, 실패 같은 상태로 보여줍니다.
수정 확인은 버튼을 누르는 순간 모든 것이 끝나는 마법 지팡이가 아닙니다. 구글 문서에 따르면 보통 약 2주까지 걸릴 수 있고, 사이트 상황에 따라 더 오래 걸릴 수도 있습니다.
가장 중요한 원칙은 간단합니다. 초록색 숫자를 늘리는 데 집착하지 말고, 실제 방문자가 읽을 가치가 있는 페이지가 제대로 발견되고 이해되는지 확인하세요.
자주 묻는 질문
Q. 페이지를 만들자마자 색인 요청을 하면 바로 검색되나요?
A. 아닙니다.
색인 요청은 구글에 확인을 부탁하는 절차일 뿐, 즉시 색인이나 검색 순위를 보장하지 않습니다. 중요한 새 페이지에 사용하고, 내부 링크와 사이트맵도 함께 정리하세요.
Q. “발견됨, 현재 색인되지 않음”이면 페이지를 다시 제출해야 하나요?
A. 먼저 구글이 페이지를 찾을 길이 있는지 확인하세요. 사이트맵, 내부 링크, robots.txt, 서버 응답을 점검한 뒤 며칠 기다리는 것이 좋습니다.
Q. “크롤링됨, 현재 색인되지 않음”은 콘텐츠가 나쁘다는 뜻인가요?
A. 반드시 그렇지는 않습니다. 다만 내용이 짧거나 다른 페이지와 비슷하거나, 검색하는 사람에게 새 정보가 적을 가능성은 점검해야 합니다.
Q. 중복 페이지 메시지는 모두 고쳐야 하나요?
A. 대표 주소가 올바르게 선택됐고 검색에 필요한 페이지가 대표로 색인됐다면 정상일 수 있습니다. 잘못된 주소가 대표로 선택된 경우에만 대표 주소 표시와 내부 링크를 다시 정리하세요.
Q. 이 문제를 도구로 쉽게 해결할 수 있나요? 어떤 도구를 쓰면 되나요?
A. URL 검사와 페이지 색인 보고서가 기본 도구입니다. 주소가 많다면 사이트맵 점검 기능, 서버 기록 분석, 링크와 중복 주소를 묶어주는 사이트 점검 도구를 함께 쓰면 반복 작업을 줄일 수 있습니다.
Q. 워드프레스에서 사이트맵과 noindex를 함께 관리할 수 있나요?
A. 사이트맵과 noindex는 목적이 다르므로 각각 설정해야 합니다.
SOHO SEO는 Sitemap에서 일반 XML 사이트맵과 Google News 사이트맵을 켜거나 끄고, noindex management에서 날짜·작성자·태그·검색 결과와 선택한 분류 보관 페이지를 구분해 설정할 수 있습니다. 설정 후에도 어떤 주소가 실제로 발견·크롤링·색인됐는지는 서치콘솔에서 확인해야 합니다.
워드프레스 관련 플러그인
