(웅카콜라) "색인이 생성되었으나 robots.txt에 의해 차단됨" 1분 해결 방법

본인의 티스토리를 구글 서치 콘솔(Google Search Console)에 등록한 후 검색 노출이 잘 되길 기대하며 티스토리 관리를 하던 도중,

아래와 같이 반갑지 않은 제목의 메일을 받게 되었습니다.

 

 

"사이트 https://ungdoli0916.tistory.com/에서 새로운 적용 범위 문제가 발견됨"

 

'내 티스토리에 무슨 문제가 생긴 건가?' 하는 걱정스러운 마음이 들어 즉시 메일 내용을 확인해 보았습니다.

 

 

 

세부 내용은 "색인이 생성되었으나 robots.txt에 의해 차단됨"으로 확인.

 

색인이 생성되어 검색에서는 노출이 되지만 검색 수집 로봇에 의해 차단이 되었다는 내용으로 추측,

좀 더 상세한 내용을 확인하기 위해 '적용 범위 문제 해결하기' 버튼을 클릭하여 구글 서치 콘솔 사이트로 이동하였습니다.

 

 

 

이번에도 역시나 내용은 "색인이 생성되었으나 robots.txt에 의해 차단됨"으로, 영향을 받은 페이지는 3건이 확인 !

아래에서는 해당 내용으로 영향을 받은 페이지의 URL을 확인할 수 있었습니다 !

 

하지만 여기서 문제가 발생된(영향을 받은) URL들을 확인한 결과, 한 가지의 공통점을 찾아볼 수 있었는데요 !

 

 

 

그것은 바로 영향을 받은 URL 3건 모두 'tistory.com/manage'의 경로 또는 그 하위 경로인 점이었습니다 !

('/manage' 경로는 티스토리 관리자 페이지입니다.)

 

 

그럼 이 오류가 정말 robots.txt에 의해 차단되었는지 확인을 하기 위해,

해당 내용을 확인할 수 있는 네이버 웹마스터 도구로 접속하여 '검증' 메뉴에서 'robots.txt'로 들어가 보았습니다.

 

 

 

1. User-agent: * - 모든 검색 엔진에 대해서

2. Disallow: /manage - manage와 그 이하 URL으로는 접근을 허용하지 않는다. (티스토리 관리자 페이지)

 

결론은 robots.txt에 의해 차단이 된(영향을 받은) URL 3건 모두 관리자 페이지로 접근을 하다 차단이 된 건들로 확인을 할 수 있습니다.

 

 

 

그렇다면 여기서 이 문제의 해결 방법은 무엇일까요 ?

 

 

그것은 바로, "아무것도 하지 않는다"입니다 !

 

첨언하면 "포스팅을 더욱 정성을 들인다" 정도가 되겠네요 :D

 

 

그 이유인즉슨, 티스토리 관리자 페이지는 검색에 노출시키기 위한 목적이 아니라 본인의 티스토리를 관리하고자 하는 목적이기에(본인만 확인하면 되기에) 굳이 검색이 될 필요는 없으며, 또한 robots.txt가 이 부분을 찾아냈다는 것은 구글 서치 콘솔(Google Search Console)에서 우리의 티스토리를 정상적으로 방문하여 정보를 분석하고 분류하는 작업이 잘 되고 있음을 확인할 수 있기 때문입니다 !

 

 

뭐, 메일 덕분에 결과적으론 봇이 정상적으로 내 티스토리에 대한 정보를 수집하고 있는 것을 확인할 수 있었네요 ㅎㅎ

 

그러니 여러분들 또한 안심하시고 다시 본인의 티스토리를 가꾸시어 모든 콘텐츠들이 상위 검색 결과에 노출되시길 바라며,

이상으로 "색인이 생성되었으나 robots.txt에 의해 차단됨" 1분 해결 방법에 대한 속 시원한 웅카콜라의 포스팅을 마치겠습니다.

 

감사합니다 :D