사이트가 갑자기 느려졌는데 방문자는 줄지 않았다면, 손님이 아니라 배달원이 문 앞에서 발을 동동 구르는 상황일 수 있습니다. 구글 검색 로봇이 페이지를 보러 왔지만 서버가 늦게 대답하거나, 아예 문을 열어 주지 못하는 경우입니다.
이럴 때 서치콘솔의 크롤링 통계 보고서는 서버 상태를 읽는 작은 청진기 역할을 합니다. 방문자 수를 보여 주는 보고서가 아니라, 구글이 사이트에 도착했을 때 어떤 일을 겪었는지 알려 주는 기록장입니다.
구글 로봇은 사이트에 무엇을 하러 올까
구글은 웹페이지를 발견하고 내용을 읽은 뒤, 검색 결과에 넣을지 판단합니다. 이 과정의 첫 단계가 크롤링입니다. 쉽게 말해 구글 로봇이 사이트의 주소를 따라다니며 페이지를 방문하는 일입니다.
크롤링은 색인과 다릅니다. 크롤링은 책을 펼쳐 읽는 일이고, 색인은 도서관 목록에 책을 올리는 일입니다. 로봇이 페이지를 읽었다고 해서 반드시 검색 결과에 등장하는 것은 아닙니다.
크롤링 통계 보고서는 이 첫 단계의 기록을 보여 줍니다. 구글 공식 안내에 따르면 보고서에서는 전체 요청 수, 내려받은 자료의 크기, 평균 응답 시간, 서버 상태, 응답 종류, 파일 종류, 방문 목적, 로봇 종류를 확인할 수 있습니다.
이 보고서는 서치콘솔의 설정 메뉴에서 확인합니다. 다만 사이트 전체를 관리하는 도메인 속성이나 루트 주소 수준의 속성에서만 제공됩니다.
페이지가 20개인 작은 사이트라면 매일 들여다볼 필요는 없습니다. 구글은 1,000개보다 적은 페이지를 가진 사이트라면 이 정도의 세부 기록을 걱정하지 않아도 된다고 안내합니다.
숫자 세 개만 봐도 서버의 표정이 보인다
전체 요청 수는 방문 횟수의 합계다
전체 요청 수는 구글이 사이트의 주소를 요청한 횟수입니다. 같은 주소를 여러 번 요청하면 여러 번으로 계산됩니다. 성공한 요청만 세는 것이 아니라 실패한 요청도 포함됩니다.
따라서 숫자가 많다고 무조건 좋은 것은 아닙니다. 식당에 손님이 많아도 주방이 주문을 못 따라가면 축제가 아니라 대기표 발급 행사가 됩니다.
요청 수가 갑자기 줄었다면 서버가 느려졌거나 오류가 늘었을 수 있습니다. robots.txt 설정이 바뀌었거나, 구글이 사이트 내용을 자주 갱신할 필요가 낮다고 판단한 경우도 있습니다.
평균 응답 시간은 서버의 대답 속도다
평균 응답 시간은 구글이 자료를 요청한 뒤 응답을 받기까지 걸린 평균 시간입니다. 페이지 하나만 재는 것이 아니라, 사이트에서 내려받은 자료 전체를 기준으로 계산합니다.
예를 들어 글 페이지는 빠르지만 큰 이미지와 복잡한 파일이 느리면 평균값이 올라갑니다. 겉으로는 홈페이지가 열리는데, 속으로는 무거운 가방을 들고 계단을 오르는 서버일 수 있습니다.
응답 시간이 길어지면 구글은 서버에 부담을 주지 않으려고 요청 속도를 늦출 수 있습니다. 구글 개발자 안내에서도 서버가 느리게 응답하거나 오류가 늘면 구글 로봇이 요청량을 줄일 수 있다고 설명합니다.
다운로드 크기는 서버가 나른 짐의 무게다
다운로드 크기는 정해진 기간에 구글이 사이트에서 내려받은 자료의 총량입니다. 글뿐 아니라 이미지, 스타일 파일, 자바스크립트 같은 자료도 포함될 수 있습니다.
사진 한 장이 너무 크거나 같은 파일이 여러 페이지에 반복되면 이 숫자가 커집니다. 짐이 무거우면 배달원이 천천히 걷듯, 서버가 보내야 할 자료가 많을수록 응답이 늦어질 수 있습니다.
다만 다운로드 크기가 크다는 사실만으로 문제가 확정되지는 않습니다. 방문한 페이지 수가 많아도 총량은 커지기 때문입니다. 요청 수와 평균 응답 시간을 함께 봐야 상황을 제대로 읽을 수 있습니다.
서버 상태에서 빨간불이 켜지는 순간
보고서의 호스트 상태는 구글이 최근 90일 동안 사이트에 접근하는 데 큰 문제를 겪었는지 보여 줍니다. 문제 없음, 문제가 있었지만 최근은 아님, 최근에도 문제가 있음처럼 상태를 나누어 확인할 수 있습니다.
여기에는 robots.txt, DNS, 서버 연결 문제가 따로 표시됩니다. DNS는 사람이 주소를 입력했을 때 그 주소가 어느 서버인지 안내하는 인터넷 주소록입니다.
DNS가 고장 나면 구글은 사이트가 어느 컴퓨터에 있는지 찾지 못합니다. 서버 연결 문제가 생기면 위치는 알아도 문을 열고 대답할 상대가 없는 상황이 됩니다.
robots.txt가 잠기면 입구에서 멈춘다
robots.txt는 검색 로봇에게 사이트 안에서 들어가도 되는 곳과 조심할 곳을 알려 주는 파일입니다. 이 파일이 반드시 있어야 하는 것은 아니지만, 파일을 요청했을 때 서버가 정상적인 답을 해야 합니다.
구글 안내에 따르면 정상적인 응답에는 파일이 있는 200 응답뿐 아니라 파일이 없다는 404나 410 응답도 포함됩니다. 반대로 429나 500번대 오류처럼 서버 연결 문제가 나타나면 크롤링이 늦춰지거나 멈출 수 있습니다.
특히 robots.txt가 오랫동안 열리지 않으면 보고서의 전체 요청 수와 실제 서버 기록이 다르게 보일 수 있습니다. 구글이 실제로 요청하지 못한 크롤링까지 가능성으로 계산하는 경우가 있기 때문입니다.
오류 코드는 서버가 보내는 짧은 메모다
200은 정상적으로 자료를 건넸다는 뜻입니다. 301과 302는 다른 주소로 안내했다는 뜻이고, 404는 요청한 페이지를 찾지 못했다는 뜻입니다.
500번대 오류는 서버 쪽에 문제가 있다는 신호입니다. 503은 잠시 이용할 수 없다는 뜻으로, 갑작스러운 방문 증가나 서버 작업 때 나타날 수 있습니다.
보고서에서 오류 비율이 특정 날짜에 튀었다면 그날의 서버 기록과 비교해 보세요. 자동 백업, 플러그인 업데이트, 행사 시작, 광고 집행처럼 같은 시간에 일어난 사건이 원인일 수 있습니다.
직접 점검할 때 가장 많이 막히는 지점
많은 운영자는 평균 응답 시간이 1초인지 2초인지 보고 곧바로 좋고 나쁨을 판정하려 합니다. 하지만 보고서의 평균값만으로는 어느 페이지가 문제인지, 느림이 언제 시작됐는지, 원인이 서버인지 파일인지 바로 알기 어렵습니다.
또 하나의 함정은 예시 주소입니다. 보고서에 보이는 주소는 전체 목록이 아니라 대표 사례입니다. 어떤 주소가 보이지 않는다고 해서 구글이 그 주소를 요청하지 않았다는 뜻은 아닙니다.
서버 기록과 보고서 숫자가 다를 때도 당황하기 쉽습니다. 구글 공식 문서에 따르면 robots.txt를 가져오지 못해 실제 요청이 이루어지지 않은 경우에도 크롤링 총계에 포함될 수 있고, 일부 요청은 여러 사정으로 보고서에 빠질 수 있습니다.
작은 사이트 운영자가 혼자 해결하려 하면 더 복잡해집니다. 주소별 오류를 모으고, 날짜별 변화를 비교하고, 리디렉션이 여러 번 이어지는지 확인하고, 서버 기록과 맞춰 보는 일이 필요하기 때문입니다.
그래서 먼저 문제를 세 종류로 나누는 편이 좋습니다.
- 사이트 전체가 느린지 확인하기
- 특정 주소만 실패하는지 확인하기
- 구글 로봇만 막히는지 확인하기
전체가 느리다면 서버와 DNS를 먼저 봅니다. 특정 주소만 문제라면 페이지 코드, 이미지, 데이터베이스를 확인합니다. 구글 로봇만 막힌다면 robots.txt, 접근 제한, 방화벽 설정을 의심합니다.
보고서를 열었다면 이렇게 읽어 보자
처음부터 모든 숫자를 분석하려 하지 마세요. 지난 90일 그래프에서 갑자기 꺾인 날을 먼저 찾는 것이 좋습니다. 평소보다 요청 수가 줄면서 응답 시간이 늘었다면 서버가 지쳐서 문을 천천히 여는 상황일 수 있습니다.
그다음 호스트 상태를 확인합니다. robots.txt, DNS, 서버 연결 중 어느 항목에 문제가 표시되는지 봅니다. 문제가 최근에 발생했는지, 오래전에 한 번 있었는지도 구분해야 합니다.
이후 응답 종류를 열어 오류 비율을 살핍니다. 404가 많다면 내부 링크나 삭제한 페이지를 정리할 수 있습니다. 500번대가 많다면 개발자나 호스팅 업체와 서버 로그를 함께 확인해야 합니다.
파일 종류도 유용합니다. HTML보다 이미지나 다른 자료의 요청이 지나치게 많다면 페이지 안에 무거운 파일이 숨어 있을 수 있습니다. 구글은 여러 페이지에서 반복 사용되는 자료를 어느 정도 다시 요청하지 않을 수 있으므로 숫자는 사이트 구조와 함께 읽어야 합니다.
크롤링 목적에서는 새 페이지를 발견하기 위한 방문인지, 이미 알려진 페이지를 다시 확인한 방문인지 살펴볼 수 있습니다. 새 글을 올렸는데 발견 목적의 요청이 거의 없다면 사이트맵과 내부 연결을 점검할 이유가 생깁니다.
이때 워드프레스 안에서 새 글이 발견될 통로와 글 사이의 연결을 함께 살필 수 있습니다. SOHO SEO의 Sitemap에서는 일반 XML 사이트맵과 최근 게시물 중심의 Google News 사이트맵을 켜거나 끌 수 있습니다.
Internal/external link management에서는 게시물의 내부 링크와 외부 링크 후보를 찾아 선택하거나 적용할 수 있습니다. 서치콘솔의 요청 흐름을 확인한 뒤 사이트 안의 연결 구조를 점검하는 작업입니다.
중요한 것은 보고서가 검색 순위를 직접 올려 주는 버튼이 아니라는 점입니다. 서버가 안정되면 구글이 페이지를 읽을 기회를 잃지 않게 되고, 그 바탕 위에서 좋은 내용과 정확한 구조가 제 역할을 할 수 있습니다.
서버가 멀쩡하다고 검색 노출이 자동으로 늘어나는 것도 아닙니다. 다만 서버가 자꾸 문을 닫으면 좋은 글도 구글 앞에서 초인종만 누르다 돌아갈 수 있습니다.
서버를 고친 뒤에는 변화의 흔적을 확인하자
문제를 고쳤다면 바로 결과를 단정하지 말고 며칠에서 몇 주 동안 흐름을 봅니다. 하루치 숫자는 주말, 행사, 업데이트 같은 우연에 흔들릴 수 있습니다.
응답 시간이 내려갔는지, 서버 연결 오류가 줄었는지, 요청 수가 평소 수준으로 돌아왔는지 함께 확인하세요. 한 지표만 좋아지고 다른 지표가 악화됐다면 문제를 옮겨 놓았을 가능성도 있습니다.
페이지 색인 상태는 별도의 페이지 색인 보고서와 URL 검사 도구에서 확인합니다. 크롤링 통계 보고서는 구글이 사이트에 접근한 기록을 보여 주고, 색인 보고서는 읽은 페이지가 검색 목록에 들어갔는지 살피는 곳입니다.
둘을 섞지 않으면 판단이 쉬워집니다. 크롤링은 방문 기록, 색인은 도서관 등록, 검색 실적은 손님이 실제로 책을 집어 든 횟수라고 생각하면 됩니다.
매달 한 번 정도 다음 질문을 던져 보세요.
- 최근 90일 동안 서버 문제가 반복됐는가
- 응답 시간이 특정 날부터 계속 길어졌는가
- 500번대 오류가 특정 주소에 몰렸는가
- 새 글이 구글에 발견될 통로가 있는가
- 사이트맵과 내부 링크가 최신 상태인가
이 다섯 가지를 기록하면 보고서는 단순한 숫자판이 아니라 서버 건강 수첩이 됩니다. 숫자 하나에 놀라기보다 변화의 방향을 보는 것이 핵심입니다.
SOHO SEO로 워드프레스 점검 이어가기
서치콘솔에서 robots.txt나 사이트맵 문제를 확인했다면 워드프레스 안에서도 정기적인 확인 흐름을 만들 수 있습니다. SOHO SEO의 Site Error Check (key search engine items)는 robots.txt와 이 플러그인이 제공하는 사이트맵을 확인하고 문제가 있을 때 이메일을 보냅니다.
특정 주소에서 404가 반복되거나 이전 주소를 새 주소로 연결해야 한다면 Redirects에서 301, 302, 410 연결을 만들고 주소 패턴과 방문 횟수를 관리할 수 있습니다. 날짜·작성자·태그·검색 결과와 선택한 분류 보관 페이지처럼 검색에 노출할 필요가 적은 영역은 noindex management에서 구분할 수 있습니다. 크롤링 통계를 서버 상태의 신호로 읽은 뒤, 워드프레스의 주소·사이트맵·보관 페이지를 이어서 관리하는 방식입니다.
자주 묻는 질문
Q. 크롤링 요청 수가 적으면 검색 노출이 나쁜 것인가요?
A. 반드시 그렇지는 않습니다. 사이트 크기와 새 콘텐츠 발생량에 따라 필요한 방문 횟수가 다르며, 요청 수보다 서버 오류와 페이지 발견 여부를 함께 봐야 합니다.
Q. 평균 응답 시간은 몇 초 이하여야 안전한가요?
A. 모든 사이트에 적용되는 하나의 기준은 없습니다. 절대 숫자보다 평소보다 갑자기 느려졌는지, 서버 오류가 함께 늘었는지를 비교하는 편이 더 정확합니다.
Q. 크롤링 통계에 오류가 보이면 바로 개발자를 불러야 하나요?
A. 일시적인 404 하나라면 바로 큰 작업을 할 필요는 없습니다. 반복되는 500번대 오류, DNS 문제, robots.txt 접근 실패처럼 사이트 전체에 영향을 줄 수 있는 신호부터 확인하세요.
Q. 내 사이트에서는 어떤 순서로 점검하면 되나요?
A. 호스트 상태에서 robots.txt, DNS, 서버 연결을 먼저 보고, 이후 응답 종류와 평균 응답 시간을 확인하세요. 문제가 특정 주소에 몰렸다면 해당 주소와 서버 로그를 함께 살피면 됩니다.
Q. 이 문제를 도구로 쉽게 해결할 수 있나요?
A. 서치콘솔로 구글이 본 흐름을 확인하고, 서버 로그 분석 도구와 속도 측정 도구로 원인을 좁힐 수 있습니다. 도구가 고장 난 서버를 대신 고쳐 주지는 않지만, 어디에서 문제가 시작됐는지 찾는 시간을 크게 줄여 줍니다.
Q. 서치콘솔 점검 뒤 워드프레스에서는 무엇을 확인해야 하나요?
A. 사이트맵, robots.txt, 404 주소, 리디렉션, 검색에 노출할 필요가 적은 보관 페이지를 차례로 확인하면 됩니다.
SOHO SEO는 사이트맵 관리, robots.txt와 사이트맵 확인 알림, 301·302·410 연결과 404 기록, 보관 페이지 noindex 설정을 제공합니다. 서버 연결이나 DNS 자체를 바꾸는 대신 워드프레스 안에서 이어지는 검색 구조 점검에 사용할 수 있습니다.
워드프레스 관련 플러그인
