robots2 티스토리 - 로봇(robots.txt) 파일보기/분석 티스토리 robots 파일 보기 안녕하세요 고코더 입니다. 티스토리도 블로그이자 하나의 사이트이기에 로봇 파일이 존재합니다. 주소는 아래처럼 이동하면 나타납니다. 각자의 블로그 뒤에 /robots.txt를 붙이면 로봇 파일을 확인 가능하빈다. https://gocoder.tistory.com/robots.txt ▼ 기본 티스토리 블로그 robots.txt 내용 User-agent: * Disallow: /owner Disallow: /manage Disallow: /admin Disallow: /oldadmin Disallow: /search Disallow: /m/search Disallow: /m/admin Disallow: /like Allow: / User-agent: Mediapartners-G.. 2019. 5. 9. meta - 메타 태그로 검색 엔진 접근차단하기 / robots, noindex, nofollow 메타 태그를 활용한 검색엔진 수집 금지 안녕하세요. 고코더 입니다. 루트 파일 밑에 robots.txt로 검색엔진을 차단하기도 하지만 메타 태그를 활용해 검색엔진의 접근을 차단이 가능합니다. 보통 사이트를 개발 중일 경우 미완성의 데이터를 가져가게 만들기보다는 해당 태그를 활용해 검색엔진을 차단할 수 있습니다. 그리고 나중에 해당 태그만 제거하면 색인 해가겠죠 아래 태그를 홈페이지 head 안에 선언하면 됩니다. ▼ 모든 검색 엔진을 차단 1cs ▼ 특정 검색 엔진만 차단 합니다. 순서대로 구글, 다음, 네이버 해당 bot은 각 엔진에서 지정한 name입니다. 123cs 공통 파일의 해당 태그를 입력하면 모든 페이지는 수집되지 않습니다. 반대로 특정 페이지에만 입력하면 해당 페이지만 가져가지 않습니다. .. 2019. 1. 6. 이전 1 다음
