Minnnning's logs

AWS 클라우드 정복중 ☁️ 언젠간 GCP, Azure까지도...

1년차 드디어 된 클라우드 엔지니어
251 작성한 글
26 카테고리
6년차 블로그 운영
블로그 잔디

검색 최적화(8)

검색을 한다면 검색어를 백엔드(fast api)로 보내고 여기서 토큰화를 진행 후 토큰화 데이터 db 저장(실시간 검색어을 위해) 그후 토큰화된 데이터를 이용해서 엘라스틱 서치에 검색한다 기존 엘라스틱 서치 기능을 쓴다면 한글에는 부족한 성능(검색시 제대로 된 결과가 나오지 않음)이 나와서 nori를 적용시켰고 거기에 좀더 커스텀을 적용시켰다 ma...

공지사항 크롤링 및 데이터 저장(4)

공지사항을 크롤링하기 하기위해 셀레니움을 사용하고 목록을 추출한다 각 공지사항의 세부내용도 필요하기 때문에 다시 한번 해당 url에 접근해서 세부 내용을 가져와 db에 저장한다 각 학과별 공지사항을 크롤링한다 모든 페이지들이 형식이 비슷하다면 쉽겠지만 모두 다르기 때문에 다른 코드를 작성해야한다 그래도 코드 중복을 최대한 줄이기 위해서 하나의 클래스를...