Yeti, 그 두번째 이야기

예전에 야후가 긁어댈 때 "뭐냐 너~" 했던 기억 거 말고는 처음인 것 같다. "첫눈의 Yeti 야~ 너 또 뭐하니~!"

역시 5대가 동시에 긁어대서 봤더니

Yeti 였고, ip를 확인하니

예전의 그 넘이 맞는가 하더라;

알았다. Yeti 야. 넌 이제 아웃이야. robots.txt 로 차단시키려 하다가 문득 검색 엔진 시장에 새롭게 뛰어드는 서비스 업체가 다른 사람의 신경을 자극하지 않고 데이터를 확보할 수 있는 방법이 뭐가 있을까 싶었다. 티나지 않게 찔끔찔끔 긁으면 어느 세월에 이 방대한 네트를 긁을 것이야 싶기도 하고. 혹시… 이게 찔끔찔끔 긁고 있는 중인 건가? -_-;

추가) 엇; 막아도 긁네? 로봇 규약 준수 안하셈? 첫째, 로봇은 인간에게 해를 끼쳐서는 안…

참고링크

BKLove's Blog - [robots.txt]이용 검색로봇 차단 가이드
Blue Luna - 검색 로봇이 웹 페이지를 긁어가는 것 차단하기
코리아인터넷닷컴 - 웹 사이트에 외부 검색엔진이 못 들어오게 하려면?
김중태 문화원 - 구글이 한국에서 성공할 수 없는 이유