robots.txt에 의해 차단됨 뜻｜티스토리 서치콘솔 확인 방법

서치콘솔에 ‘robots.txt에 의해 차단됨’이

표시되면 구글봇이 해당 URL을

크롤링하지 못하도록 규칙이 설정되어 있다는 뜻입니다.

 

다만 보고서에 표시된 모든 차단 URL을

풀어야 하는 것은 아닙니다. 관리자 페이지,

검색 결과와 중복 경로처럼 검색에 노출할

필요가 없는 주소는 의도적으로 차단될 수 있습니다.

 

robots.txt는 무엇일까?

robots.txt는 검색엔진 크롤러가 사이트의

어떤 경로에 접근할 수 있는지 알려주는 파일입니다.

 

다음 주소에서 확인할 수 있습니다.

https://내블로그주소/robots.txt

robots.txt는 주로 크롤링

접근을 관리합니다. 특정 웹페이지를

검색 결과에서 확실히 제외하기

위한 용도로 사용하는 noindex와는 역할이 달라요.

 

정상적으로 차단될 수 있는 주소

주소 유형	일반적인 판단
관리자·로그인 페이지	차단되어도 문제없음
내부 검색 결과	색인할 필요가 적음
중복된 태그·경로	대표 페이지에 따라 판단
실제 게시글	차단되었다면 확인 필요
카테고리 페이지	운영 목적에 따라 판단

서치콘솔의 예시 URL이 일반 게시글인지

시스템용 주소인지 먼저 확인해야 합니다.

게시글이 차단된 경우 확인할 것

실제 검색에 노출하려는 글이

차단되었다면 다음 항목을 살펴보세요.

• 글이 공개 상태인지
• URL을 정확히 입력했는지
• 스킨이나 플러그인이 검색 접근을 막는지
• 개인 도메인 연결이 정상인지
• robots.txt 주소가 정상적으로 열리는지
• 라이브 URL 테스트에서도 차단되는지

티스토리 기본 robots.txt는 이용자가

서버의 루트 파일처럼 직접 수정하기 어렵습니다.

정상 게시글이 지속적으로 차단된다면

티스토리 설정과 접속 상태를 먼저 확인해야 합니다.

robots.txt를 임의로 바꿔도 될까?

다른 블로그에서 가져온 robots.txt 내용을

스킨 HTML에 넣는다고

실제 루트의 robots.txt가 변경되는 것은 아닙니다.

 

또한 모든 경로의 크롤링을 허용하면 중복되거나

불필요한 페이지까지 수집될 수 있어요.

 

어떤 URL이 차단되었는지 확인하지 않고

전체 설정을 바꾸는 방식은 피하는 것이 좋습니다.

 

색인 요청 전에 확인하기

robots.txt로 차단된 상태에서는

색인 요청을 반복하기보다

접근 차단 원인을 먼저 해결해야 합니다.

 

수정 후 서치콘솔의 라이브 URL 테스트에서

크롤링이 허용되는지 확인하고,

실제 게시글 주소로 색인 생성을 요청하세요.

핵심 요약

‘robots.txt에 의해 차단됨’은

구글봇이 해당 경로를 크롤링하지 못했다는 뜻입니다.

 

관리자나 검색 페이지라면 정상일 수 있지만

공개 게시글이 차단되었다면 공개 상태, 주소,

스킨과 도메인을 확인해야 합니다.

 

예시 URL의 종류를 확인한 뒤 조치 여부를 결정하세요.