봇의 방문을 막는법

컴퓨터 | 2006/07/01 00:04

블로그나 홈페이지를 운영하는 분들에게는 두가지 타입이 있다.

홈이 노출되기를 원하는 사람과 은폐되기를 바라는 사람

이중에 은폐되기를 바라는 사람들에게 최고의 적이 있으니 그것은 바로 봇

검색엔진의 데이터를 수집하는 자동화된 프로그램들로 무차별적으로 정보를 수집해가기 때문에

정말 난감한 존재이다.

이런 분들을 위한 간단한 팁으로

봇이 검색하기를 원치 않는 폴더에

robots.txt 란 파일 명으로  아래의 내용을 적어 넣으면 봇의 검색을 어느정도 피할수 있다.

User-agent: *
Disallow: /

어느정도인 이유는 봇의 표준 규칙을 지키지 않는 봇이 꽤 있기 때문이다.
(특히 야후의 봇들......테터툴즈 관리자 로그인 페이지까지 수집해간다....니들 대체 뭐야..)
태그 :
트랙백 : 없음 | 댓글 : 없음
trackback :: http://engagestory.com/trackback/82
Copyright © 2005-2016,인게이지. All rights reserved.