'크롤러'에 해당되는 글 1건


티스토리 robots 파일 보기


안녕하세요
고코더 입니다. 


티스토리도 블로그이자 하나의 사이트이기에
로봇 파일이 존재합니다.

주소는 아래처럼 이동하면 나타납니다. 
각자의 블로그 뒤에 /robots.txt를 붙이면
로봇 파일을 확인 가능하빈다.
https://gocoder.tistory.com/robots.txt



▼ 기본 티스토리 블로그 robots.txt 내용
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: bingbot
Crawl-delay: 30


▼ 티스토리의 로봇은 우선 모든 
검색 엔진을 허용 합니다. 
User-agent: *

▼ 그리고 어드민 같은 불필요한 폴더를 제외한
나머지를 허용 합니다. 
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

▼ 그리고 예외 사항으로 
애드센스 크롤러는 모든 폴더에 접근 가능하도록
오픈해놓았습니다. 
User-agent: Mediapartners-Google
Allow: /


▼ 그리고 마지막으로 빙 검색엔진은
딜레이를 30초를 주었습니다. 빙이 과도하게 크롤러 해가서
생겨난 옵션 같습니다.
User-agent: bingbot
Crawl-delay: 30


기본적으로 티스토리 검색 크롤러 옵션은
모든 검색엔진을 허용 하고 일부 관리자 폴더는 차단되었지만
애드센스는 모든 폴더까지 허용 합니다.
그리고 빙 크롤러에겐 30초의 딜레이를 주었습니다.


마무리

특별히 차단된 robot이 없으니
로봇 파일을 수정할 일은 없을거 같습니다.



댓글을 달아 주세요