개발지식 먹는 하마 님의 블로그

웹 크롤링 (Web Crawling) 이란정보의 바다 인터넷에 퍼진 수많은 정보들, 웹 문서를 웹 크롤러가 규칙에 따라 탐색 및 수집하는 것이다.크롤러는 인터넷의 여러 웹 사이트에 접속하여,해당 페이지의 내용과 링크의 복사본을 생성 및 다운로드해 요약본을 만든다.+ 검색 시, 유용한 정보만을 노출하도록 검색 색인을 추가한다.현재 구현하고자 하는 프로젝트는 사용자가 풀 수 있는 문제에 대한 데이터가 필요했다.이 문제를 문제은행의 데이터를 크롤링해 오고자 하였다.Java 기반 크롤링 라이브러리 JSoup크롤링을 할 수 있는 라이브러리에는 여러 가지가 있으나 현재 Java 기반의 프로젝트를 진행 중이니 Java 기반의 크롤링 라이브러리를 사용하면 좋을 것 같았다.Java 기반 웹 크롤링 관련 라이브러리에는 J..