티스토리 robots 파일 보기
안녕하세요
고코더 입니다.
티스토리도 블로그이자 하나의 사이트이기에
로봇 파일이 존재합니다.
주소는 아래처럼 이동하면 나타납니다.
각자의 블로그 뒤에 /robots.txt를 붙이면
로봇 파일을 확인 가능하빈다.
https://gocoder.tistory.com/robots.txt
▼ 기본 티스토리 블로그 robots.txt 내용
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30
▼ 티스토리의 로봇은 우선 모든
검색 엔진을 허용 합니다.
User-agent: *
▼ 그리고 어드민 같은 불필요한 폴더를 제외한
나머지를 허용 합니다.
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
▼ 그리고 예외 사항으로
애드센스 크롤러는 모든 폴더에 접근 가능하도록
오픈해놓았습니다.
User-agent: Mediapartners-Google
Allow: /
▼ 그리고 마지막으로 빙 검색엔진은
딜레이를 30초를 주었습니다. 빙이 과도하게 크롤러 해가서
생겨난 옵션 같습니다.
User-agent: bingbot
Crawl-delay: 30
기본적으로 티스토리 검색 크롤러 옵션은
모든 검색엔진을 허용 하고 일부 관리자 폴더는 차단되었지만
애드센스는 모든 폴더까지 허용 합니다.
그리고 빙 크롤러에겐 30초의 딜레이를 주었습니다.
추천 컨텐츠
마무리
특별히 차단된 robot이 없으니
로봇 파일을 수정할 일은 없을거 같습니다.
'블로그_활용 > 블로그' 카테고리의 다른 글
| 티스토리 - 네이버 검색 유입 대안 / 블로그로 유입하기 (6) | 2019.06.13 |
|---|---|
| 티스토리 - 방명록 쉽게 접속하기 /guestbook URL (4) | 2019.06.11 |
| 티스토리 - 태그 길게 입력 되었을 때 수정,삭제하기 (0) | 2019.05.05 |
| 티스토리 - 첨부파일 아이콘 크기 변경하기 (8) | 2019.04.11 |
| 네이버블로그 - RSS 주소 확인하기 (0) | 2019.04.04 |
댓글