웹 크롤러 설계1 9. 웹 크롤러 설계 웹 크롤러는 재미있으면서도 고전적인 설계이다 검색 엔진에서 널리 쓰이는 기술로, 웹에 새로운 것이 올라오거나 갱신 된 컨텐츠를 찾아내는 것이 주 목적이다 여기서 컨텐츠는 웹 페이지, 동영상, PDF 등을 포괄한다 웹 클롤러의 사용 검색 엔진 인덱싱 크롤러의 가장 보편적인 용례다 웹 페이지를 모아, 검색 엔진을 위한 로컬 인덱스를 만든다 예를들어 GoogleBot은 구글 검색 엔진이 사용하는 웹 크롤러다 웹 아카이빙 나중에 사용할 목적으로 장기 보관하기 위해 웹에서 정보를 모으는 절차를 말한다 대표적으로 미국 국회 도서관, EU 웹 아카이브가 있다 웹 마이닝 웹 마이닝을 통해 인터넷에서 유용한 정보를 추출해 낸다 일례로, 금융 기업들을 크롤러로 주주 총회 자료나 연차 보고서를 다운 받아, 기업의 핵심 사업.. 2023. 4. 9. 이전 1 다음 반응형