최적화 진단시 네이버 검색로봇이 사이트에 접근할 수 없는 문제 해결하기

오랜만에 네이버웹마스터도구에 들어가보니 검색로봇이 웹페이지에 접근을 할 수 없다고 합니다.

구글 애널리틱스가 어려서워서 대신에 네이버웹마스터도구로 블로그를 관리했습니다.

네이버웹마스터도구로 블로그 최적화하기

티스토리도 업데이트가 되고 네이버 검색반영 원칙도 달라졌지만 캘리그라피에 빠져서 별 신경을 쓰지 않았는데 이런 사태가 났을 줄은 몰랐습니다.

메타태그를 등록해도 문제가 해결되지 않아서 다른 방법을 찾아 보았습니다.

메타태그로 티스토리 블로그 검색로봇 허용하기

우선 기존의 사이트주소 등록을 삭제하고 티스토리 업데이트로 바뀐 주소를 새로 등록했습니다.

보안을 강화한 SSL 적용이 완료되어 도메인 주소 앞이 HTTP에서 HTTPS로 변경 되었습니다.

네이버 검색순위에서 티스토리 블로그가 네이버 블로그에 비해 후순위로 밀리는 원인에 네이버 방침 말고도 https 리디렉션도 있다고 하는데 정말 어렵네요.

SSL(Secure Socket Layer)이란 전송 계층 보안으로 서버와 브라우저 간에 암호화된 링크를 설정하기 위한 표준 보안 기술입니다.

SSL을 사용하면 전송되는 데이터를 비공개로 유지할 수 있습니다.

여전히 문제가 해결되지 않아서 robots.txt 설정이 필요합니다.

네이버는 yeti라는 이름의 검색엔진 로봇이 활동하고 있습니다.

검색엔진 로봇이 robots.txt파일에 적혀 있는 코드를 통해 페이지의 정보들을 수집(크롤링)합니다.

내가 노출하고 싶은 페이지와 노출하고 싶지 않은 페이들을 robots.txt 파일을 통해 검색엔진 로봇의 활동을 조절할 수 있습니다.

웹마스터도구의 검증카테고리에서 robots.txt 메뉴로 들어갑니다.

스크롤을 아래로 내리면 robots.txt 간단 생성을 할 수 있습니다.

직접 코드를 짜서 관리자가 보는 페이지들을 disallow로 설정해 막아둘 수도 있습니다.

다운로드 버튼을 누르면 robots.txt 파일을 받을 수 있습니다.

다운로드 받은 robots.txt 파일을 티스토리 블로그에 업로드 하기 위하여 블로그관리의 스킨 편집창을 엽니다.

html편집 버튼을 눌러 파일업로드 탭에서 파일을 업로드할 수 있습니다.

추가버튼을 클릭하여 파일을 첨부하면 목록에 image/robots.txt 가 나타납니다.

다시 네이버 웹마스터 도구로 돌아가 웹 페이지 최적화 검증을 하면 네이버 검색로봇이 웹 페이지에 접근해 정보를 수집할 수 있음을 확인할 수 있습니다.

오류 현황에서도 수집 상태 수집원활으로 성공적입니다.