티스토리 robots 파일 보기


안녕하세요
고코더 입니다. 


티스토리도 블로그이자 하나의 사이트이기에
로봇 파일이 존재합니다.

주소는 아래처럼 이동하면 나타납니다. 
각자의 블로그 뒤에 /robots.txt를 붙이면
로봇 파일을 확인 가능하빈다.
https://gocoder.tistory.com/robots.txt



▼ 기본 티스토리 블로그 robots.txt 내용
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: bingbot
Crawl-delay: 30


▼ 티스토리의 로봇은 우선 모든 
검색 엔진을 허용 합니다. 
User-agent: *

▼ 그리고 어드민 같은 불필요한 폴더를 제외한
나머지를 허용 합니다. 
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

▼ 그리고 예외 사항으로 
애드센스 크롤러는 모든 폴더에 접근 가능하도록
오픈해놓았습니다. 
User-agent: Mediapartners-Google
Allow: /


▼ 그리고 마지막으로 빙 검색엔진은
딜레이를 30초를 주었습니다. 빙이 과도하게 크롤러 해가서
생겨난 옵션 같습니다.
User-agent: bingbot
Crawl-delay: 30


기본적으로 티스토리 검색 크롤러 옵션은
모든 검색엔진을 허용 하고 일부 관리자 폴더는 차단되었지만
애드센스는 모든 폴더까지 허용 합니다.
그리고 빙 크롤러에겐 30초의 딜레이를 주었습니다.


마무리

특별히 차단된 robot이 없으니
로봇 파일을 수정할 일은 없을거 같습니다.



댓글을 달아 주세요



메타 태그를 활용한 검색엔진 수집 금지 



안녕하세요. 고코더 입니다.


루트 파일 밑에 robots.txt로
검색엔진을 차단하기도 하지만

메타 태그를 활용해 검색엔진의 접근을
차단이 가능합니다.

보통 사이트를 개발 중일 경우
미완성의 데이터를 가져가게 만들기보다는
해당 태그를 활용해 검색엔진을 차단할 수 있습니다.
그리고 나중에 해당 태그만 제거하면
색인 해가겠죠

아래 태그를 홈페이지 head 안에 선언하면 됩니다.

▼ 모든 검색 엔진을 차단
1
<meta name="robots" content="noindex,nofollow" />
cs

▼ 특정 검색 엔진만 차단 합니다.
순서대로 구글, 다음, 네이버 
해당 bot은 각 엔진에서 지정한 name입니다. 
1
2
3
<meta name="googlebot" content="noindex,nofollow" />
<meta name="daumoa" content="noindex,nofollow" />
<meta name="naverbot" content="noindex,nofollow" />
cs

공통 파일의 해당 태그를 입력하면
모든 페이지는 수집되지 않습니다.

반대로 특정 페이지에만 입력하면
해당 페이지만 가져가지 않습니다.


마무리


구글 엔진은 페이지가 작성되자마자 수집해갈 때도 있더군요




댓글을 달아 주세요