쉬운 것은 올바르다

웹 페이지의 정보를 반복해서 얻어내어 어떤 일을 해야 할 때가 있습니다. 이럴 때 사용할 수 있는 유용한 도구로는 문자 기반 웹 브라우저와 웹 크롤러(web crawler)가 있습니다. 문자 기반 웹 브라우저는 GUI 기반 웹 브라우저보다 부하가 적고 빠르다는 장점 외에도 어떤 반복적인 일을 자동화할 때 유용합니다. 반면에 웹 크롤러는 어떤 사이트 주소 아래에 있는 파일을 한 번에 모두 내려받고자 할 때 주로 쓰입니다.

문자 기반 웹 브라우저에서 자동화하기 편하고 가벼우며 널리 쓰이는 것으로 Wget과 cURL이 있습니다. cURL이 좀 더 다양한 기능을 지원하지만, 사용법이 약간 까다롭다고 합니다. 하지만, 두 도구 다 그다지 어렵지 않아서, 설명서만 보면 금방 익힐 수 있습니다.