크롤러1 티스토리 - 로봇(robots.txt) 파일보기/분석 티스토리 robots 파일 보기 안녕하세요 고코더 입니다. 티스토리도 블로그이자 하나의 사이트이기에 로봇 파일이 존재합니다. 주소는 아래처럼 이동하면 나타납니다. 각자의 블로그 뒤에 /robots.txt를 붙이면 로봇 파일을 확인 가능하빈다. https://gocoder.tistory.com/robots.txt ▼ 기본 티스토리 블로그 robots.txt 내용 User-agent: * Disallow: /owner Disallow: /manage Disallow: /admin Disallow: /oldadmin Disallow: /search Disallow: /m/search Disallow: /m/admin Disallow: /like Allow: / User-agent: Mediapartners-G.. 2019. 5. 9. 이전 1 다음