더상승마케팅
메뉴

robots.txt는 검색로봇의 수집을 제어하고, noindex는 수집한 문서를 검색 결과에 포함하지 않도록 지시합니다. 검색에서 페이지를 빼고 싶은데 robots.txt만 막거나, 검색에 나와야 하는 글에 noindex가 남아 있으면 의도와 다른 결과가 생깁니다. 이 글은 두 설정의 차이와 변경 전후에 확인할 순서를 정리합니다.

검색로봇의 수집 접근과 검색 결과 색인 제외를 나누어 표현한 개념도
수집 제어와 색인 제외의 차이를 표현한 AI 생성 개념도입니다. 두 설정은 로그인이나 접근 권한 같은 보안 기능을 대신하지 않습니다.

robots.txt와 noindex는 무엇을 제어하나요?

웹사이트 운영에서는 방문자가 페이지를 열 수 있는지, 검색로봇이 내용을 가져올 수 있는지, 검색엔진에 색인됐는지를 나누어 봐야 합니다. 브라우저에서 정상적으로 열린다고 색인된 것은 아니며, 수집을 허용했다고 검색 순위가 보장되지도 않습니다.

robots.txt: 크롤러의 접근 범위

robots.txt는 사이트 루트에 두는 텍스트 파일입니다. 검색로봇이 특정 경로를 수집해도 되는지 규칙으로 알립니다. Google은 웹페이지의 검색 노출을 없애기 위한 수단으로 robots.txt만 사용하는 것을 권장하지 않습니다. 수집이 막힌 주소라도 다른 링크를 통해 알려져 검색 결과에 나타날 수 있기 때문입니다. 자세한 기준은 Google robots.txt 안내에서 확인할 수 있습니다.

noindex: 검색 색인 제외

noindex는 HTML의 robots 메타 태그나 HTTP 응답의 X-Robots-Tag로 전달할 수 있습니다. 검색로봇이 이 규칙을 읽으려면 해당 페이지에 접근할 수 있어야 합니다. Google은 robots.txt 안에 적은 noindex 규칙을 지원하지 않습니다. 설정 위치를 혼동하지 않는 것이 중요합니다. 근거: Google noindex 사용 문서.

목적에 따라 어떤 설정을 선택해야 하나요?

  • 검색에 노출할 서비스 페이지와 일반 블로그: 의도하지 않은 수집 차단과 noindex가 없는지 먼저 확인합니다. 그다음 콘텐츠, 내부 링크, 대표 URL을 함께 검토합니다.
  • 공개 방문은 가능하지만 검색에는 제외할 페이지: noindex를 검토하되 검색로봇이 규칙을 읽을 수 있는 상태인지 확인합니다.
  • 고객 정보나 내부 문서: 로그인과 접근 권한으로 보호해야 합니다. 검색 제어 설정만으로 비공개를 보장할 수 없습니다.
  • 수집할 필요가 없는 반복 경로: 검색 제외가 목적인지, 수집 관리가 목적인지 먼저 결정한 뒤 robots.txt 적용 범위를 정합니다.
실무 예시이벤트 안내 페이지를 검색에서 빼려면?
수집 허용 + noindex
검색로봇이 페이지를 다시 읽으면 검색 제외 지시를 확인할 수 있습니다.
수집 차단 + noindex
검색로봇이 페이지를 읽지 못해 새 noindex를 확인하지 못할 수 있습니다.
비공개 고객 문서
로그인과 접근 권한으로 보호하세요. robots.txt와 noindex로는 기밀을 지킬 수 없습니다.

공개 안내를 검색에서 제외하는 일과, 문서를 외부에 공개하지 않는 일은 다릅니다.

같은 사이트라도 페이지마다 목적이 다릅니다. 모든 태그나 분류 목록을 일괄 차단하기 전에 실제 콘텐츠, 사용자 탐색 경로와 검색 실적을 보세요. 유입이 있는 문서까지 묶어서 변경하면 원인 추적과 복구가 어려워집니다.

설정을 바꾸기 전에 확인할 6가지

  1. 정확한 URL을 기록합니다. 메인 도메인만 적지 말고 문제가 생긴 글 주소와 최종 이동 주소를 남깁니다. http와 https, www 유무도 구분합니다.
  2. 원래 목적을 적습니다. 검색에 보여야 하는 문서인지, 제외할 문서인지 한 줄로 정합니다. 목적이 다르면 같은 noindex도 정상 설정 또는 오류가 됩니다.
  3. 현재 응답을 확인합니다. 정상 본문, 로그인 화면, 리디렉션, 404, 서버 오류를 구분합니다. 오류 페이지의 태그를 정상 문서 설정으로 해석하지 않습니다.
  4. robots.txt와 페이지 지시를 각각 확인합니다. HTML 메타뿐 아니라 응답 헤더도 살핍니다. 화면에 본문이 보인다는 이유로 로봇 접근까지 허용됐다고 판단하지 않습니다.
  5. 검색 도구의 검사 시각을 봅니다. 현재 화면과 과거 수집 기록은 다를 수 있습니다. Google과 네이버의 결과도 따로 남깁니다.
  6. 변경 전 설정을 보관합니다. 원문, 대상 URL, 변경 이유, 담당자와 시간을 기록하고 되돌릴 방법을 준비합니다.

자주 발생하는 실수와 대응 방법

검색에서 제외하려고 두 설정을 동시에 차단한 경우

예를 들어 공개 이벤트 종료 페이지에 noindex를 넣고 해당 경로를 robots.txt에서도 막았다고 가정해 보겠습니다. 이때 크롤러가 noindex를 읽지 못할 수 있습니다. 검색 제외가 목표라면 두 설정을 함께 검토해야 합니다. 단, 개인정보가 있는 페이지의 접근 제한을 검색 점검 때문에 풀어서는 안 됩니다.

운영 사이트에 테스트용 설정이 남은 경우

테스트 환경을 운영 환경으로 옮겼다면 게시물 한 개의 SEO 설정만 보지 말고 CMS의 전체 검색 노출 설정, 플러그인 설정, 서버 헤더까지 확인할 필요가 있습니다. 어디에서 지시가 생성되는지 찾은 다음 그 지점만 수정합니다. 여러 플러그인을 한꺼번에 끄면 정상 기능까지 바뀌어 원인을 구분하기 어렵습니다.

수정 직후 검색 결과가 그대로인 경우

관리자에서 저장한 시각과 검색엔진이 다시 확인한 시각을 분리해 기록하세요. 공개 응답이 수정됐는지 먼저 보고, 검색 도구에서 이후 수집과 색인 상태를 추적합니다. 수집 요청을 반복했다고 반영이 빨라진다고 가정하지 않습니다. 요청 절차는 구글 서치콘솔 색인 요청 가이드에서 이어서 볼 수 있습니다.

네이버 점검에서 놓치기 쉬운 부분

네이버는 루트의 robots.txt를 일반 텍스트로 제공하도록 안내하며, 호스트·프로토콜·포트가 다른 주소에는 동일한 규칙이 그대로 적용되지 않는다고 설명합니다. robots.txt가 정상 파일인지, 오류나 HTML 페이지를 반환하는지 함께 확인하세요. 네이버 검색로봇은 robots.txt 요청에 5xx 서버 오류가 오면 수집이 허용되지 않은 것으로 처리합니다. 다만 이전에 정상적으로 읽은 규칙이 있으면 일시적으로 그 규칙을 사용할 수 있습니다. 임의로 보안 전체를 끄기보다 응답 원인을 먼저 확인해야 합니다. 기준: 네이버 robots.txt 설정 안내.

Google 검사에서 문제가 없었다고 네이버의 현재 수집·색인까지 완료된 것은 아닙니다. 두 검색엔진의 관리 도구에서 대상 URL과 자료 날짜를 각각 확인해야 합니다. site: 검색 결과만으로 전체 미색인이나 제재를 확정하지 마세요.

수정 후에는 무엇을 기록해야 하나요?

다음 항목을 URL별로 남기면 기술 수정과 검색 반영을 혼동하지 않고 관리할 수 있습니다. 아래는 운영 점검용으로 제안하는 기록 항목입니다.

  • 대상 URL과 검색 노출 목표
  • 변경 전후 robots.txt, 메타, 응답 헤더
  • 실제 공개 응답과 본문 확인 시각
  • Google·네이버 검사 결과 및 자료 기준일
  • 수집 요청 여부와 요청 시각
  • 다음 확인 항목과 담당자

기록에는 ‘수정 저장’, ‘공개 응답 확인’, ‘검색엔진 재수집’, ‘색인 확인’을 별도 상태로 표시하세요. 한 단계가 끝났다고 나머지 단계도 완료된 것으로 적지 않는 것이 핵심입니다.

자주 묻는 질문

robots.txt를 모두 허용하면 검색 상위에 나오나요?

수집 허용은 접근 조건입니다. 제목과 본문이 검색 의도에 맞는지, 문서가 유용한지, 내부 연결이 적절한지도 함께 검토해야 합니다. 전반적인 확인 순서는 SEO 실행 체크리스트를 참고하세요.

noindex는 보안 기능인가요?

검색 제외 지시만으로 방문자의 직접 접근을 막을 수는 없습니다. 외부에 공개하면 안 되는 정보는 인증과 접근 권한으로 관리해야 합니다.

자동 검사에서 문제가 없으면 점검이 끝난 건가요?

무료 SEO 검사기로 공개 주소의 robots.txt 접근 규칙과 noindex 지시를 확인할 수 있습니다. 목표와 다른 차단인지, 사이트 전체에 영향을 주는지, 실제 검색엔진이 언제 읽었는지는 추가 확인이 필요합니다. 사이트 주소와 원하는 검색어를 준비하면 점검 범위를 구체화하기 쉽습니다.

더상승마케팅은 사이트 구조와 검색 노출 문제에 대한 상세 진단 범위를 상담으로 안내합니다. 화면 아래 카카오톡이나 텔레그램으로 대상 주소와 현재 증상을 보내주세요.

공식 자료 확인: 2026년 11월 16일. 설정 변경이나 수집 요청은 검색 노출과 순위를 보장하지 않습니다.