아키텍처
기술적 의사결정
사용 기술 | 기술 설명 |
PostgreSQL | 표준 SQL을 따르고 있고, 가볍게 돌아가며, 대량 데이터 처리에 용이하다. 또한 라이센스에 대한 비용 문제 없다. |
Querydsl | 동적인 쿼리 작성이 편리하고 문자가 아닌 코드로 쿼리를 작성함으로써, 컴파일 시점에 문법 오류에 쉽게 확인 할 수 있어서 사용을 했다. |
redis | 데이터 액세스 지연 시간을 줄일 수 있고 메모리를 저장하고 조회하는 것이 빠르다. |
Jsoup | HTML 정적 크롤링을` 하기 위해 오픈소스 JAVA 라이브러리를 사용하고 셀리니움보다 비교적 속도가 빠르다. |
Selenium | Jsoup으로는 불가능한 HTML 동적 크롤링을 하기 위해 사용하고 Jsoup으로 가능한 크롤링은 Jsoup으로 진행하여 처리 속도 향상을 시킨다. |
트러블슈팅
크롤링 라이브러리 선택
CI/CD 적용
주요기능
채용 게시판 자유 게시판