robots.txt 설정 및 네이버&구글 재크롤링(색인) 하는 법

글쓴이는 네이버 쪽은 하지않았음(하지만 구글링하면 상당히 정보가 많은걸 확인 했음)
(2020-12-08 추가 시작)
네이버 서치 어드바이저 설정 방법 및 색인 하는 방법을 게시했으니 링크를 참조하기 바람
티스토리 설정 (4) - Naver Search Advisor 추가
(2020-12-08 추가 끝)

---

Google Console

위 링크를 접속하여 URL 접두어에 본인이 색인을 재요청하려는 값을 넣는다
(만약 도메인 전체를 재요청하려면 도메인 메뉴로 신청해야함)

처음 접근하는 것이라면 해당 구글계정으로 소유권 확인이 되지않는다

따라서 간단한 방법으로 빠르게 하는 방법은 HTML 파일을 생성하여 다운로드 받아

서버의 루트경로에 업로드 후 확인을 눌러서 소유권 확인을 완료한 다음 속성으로 이동 버튼을 누른다

※ 2018년 쯤 기준으로 구글 검색엔진은 모바일로 전향되었다.

서버에 robots.txt 를 다음과 같이 설정 (혹은 관련된 규칙에 맞게 설정)

User-agent : *
Disallow: /
Allow: /index.jsp

robots.txt 는 JAVA의 경우 프로젝트의 루트경로에 둔다

ex) server.xml -> docBase="/home/test/www" 인 경우

-> /home/test/www/robots.txt 에 파일을 작성한다

그리고 해당 파일을 도메인으로 접근하여 정상적으로 열리는지 확인한다

ex) https://www.test.com/robots.txt

좌측 메뉴의 URL 검사를 클릭 하고 위 검색창에 색인하려는 URL을 넣는다

검색이 완료되면 우측에 실제 URL 테스트를 누르고 robots.txt에 의해 차단이 되었는지 확인

구글 검색창에 다음과 같이 입력한 다음 마무리한다

site:주소 혹은 site:주소 inurl:경로나 파일이름 등

ex) site:www.test.com

 -> site:www.test.com inurl:admin

만약 색인이 바로 되지않았다면 모바일로 해당 URL 접근을 하고난 후에 재시도를 해보면된다

구글 검색엔진이 구글봇 스마트폰으로 바뀌면서 웹에서 재크롤링하지않고 모바일로 재크롤링 하는것 같다

글쓴이는 5분도 안되서 구글이 재크롤링 해갔으며 robots.txt에 의해 차단된 것을 확인할 수 있었다

---

추가적으로 시간이 흘러도 삭제가 되지않는 상태라면 아래 링크로 들어가서 삭제요청 후 며칠 지나면 검색되지 않는다

구글봇 링크 삭제요청